Gemini正式支持操控Mac!可自动点击、填表及处理照片,美国付费用户率先使用

Google为Gemini Mac App加入Computer Use,可操作桌面软件、填写表格及批量处理照片。目前仅在美国以英语向指定付费用户推出,马来西亚开放时间未定。

Google官方示范Gemini Computer Use在Mac操作Blender

Google官方示范:Gemini在Mac上操作Blender完成任务。

Gemini现在可以直接帮你操作Mac了!Google于11月19日宣布,为Gemini Mac版App加入Computer Use电脑操作功能,让AI根据用户指令点击、输入及操作软件,跨本地文件、桌面应用与网页完成多步骤工作。

不过,这项功能目前率先在美国以英语推出,需要符合资格的付费订阅及个人账号,Google尚未公布马来西亚开放时间。

从回答问题,进一步帮你动手完成任务

用户可以描述想完成的工作,再由Gemini执行菜单操作、滚动页面和填写资料。Google列出的用途包括:从本地PDF提取包裹资料填写运费报价,将仪表板数据整理成简报,以及批量处理照片或设置3D场景。

Gemini Computer Use在Mac上操作Blender的Google官方示范
图片:Google。官方示范让Gemini操作Blender,将蝴蝶草图制作成3D模型并进行绑定。

官方帮助页面也举例,用户可让Gemini寻找下载文件夹里的收据,提取内容后填写报销表,或将旅行照片导入Lightroom进行批量处理。这些属于Google展示的使用场景,实际效果仍取决于任务及软件。

后台独立窗口执行,不占用主屏幕和鼠标

Gemini会把操作移至独立的后台虚拟屏幕,聊天中提供实时预览。用户可以继续使用其他App,也能放大预览或随时停止任务。

用户需要授权它访问相关应用,可设置允许与禁止使用的App名单。对于敏感操作,Gemini会在继续前要求确认,因此并非获得一次授权后就能无限制执行所有动作。

需要Apple Silicon Mac及付费订阅

根据Google公布的条件,Computer Use要求Apple Silicon Mac、macOS Sequoia 15.0或以上,以及年满18岁的个人Google账号。订阅方面,支持Google AI Plus、Pro及Ultra;目前不适用于工作或学校账号。

Gemini Mac App本身还要求至少8GB RAM,以及200MB安装空间。M1及更新Apple芯片属于Apple Silicon,不过符合硬件条件,不代表账号所在地区已获开放。

如何启动?在Task中使用@Computer use

符合资格的用户可在Gemini Mac App的设置中开启Computer use,并授予所需的辅助使用及屏幕与系统音频录制权限。之后进入Task,在指令中加入@Computer use,描述希望执行的工作。

Google也提供按需文件备份选项,但明确指出并非所有内容都能成功备份,部分软件操作也可能无法撤销。用户仍应检查执行结果,特别是涉及重要文件或资料的任务。

马来西亚用户暂时还要等

截至11月20日,官方公布的电脑操作功能范围仍是美国、英语及指定付费订阅用户。Gemini Mac App可下载与Computer Use是否开放,是两件不同的事,不能将这次更新理解成大马所有Mac用户已经可以使用。

官方下载页面:Gemini for Mac。资料来源:Google官方公告、Computer Use帮助页面及Mac版App系统要求。