Operator 是一个可以使用网页浏览器来完成任务的系统。
Operator 可以查看网页并通过输入、点击和滚动与网页进行互动。
目前作为研究预览版推出，仅限美国地区的 Pro 用户使用。稍后会向 Plus 用户开放。
Operator 可以执行各种重复性的浏览器任务，例如填写表单、订购杂货，甚至创建 memes。
“memes” （表情包或迷因）是指在网络文化中传播的幽默或讽刺性内容，通常通过图片、视频、文字或图像的组合形式表达。它们在社交媒体平台上迅速传播，通常具有一定的模仿性质，内容会被反复修改或重用。memes 通过幽默或讽刺的方式反映文化、社会事件或流行趋势，往往有一定的自我表达或情境背景。
Operator 可以帮忙去餐厅订一张 2 人餐桌：
Operator 实例化了一个远程浏览器。Agent 通过点击和与网页互动来完成任务。
如果 Operator 需要一个位置，它可以使用自定义指令来引导自己。
对于关键操作，Operator 会向用户请求确认。
你可以用它来购物。只需提供一张购物清单的图片。
Operator 基于一种名为 CUA（Computer-using Agent）的模型。
CUA 结合了 GPT-4 的视觉能力和通过强化学习（RL）进行的高级推理，经过训练可以与图形用户界面（GUI）互动——即人们在屏幕上看到的按钮、菜单和文本框。
CUA 与截图互动，而不是通过 API！
它通过鼠标和键盘允许的操作与浏览器进行互动，这去除了对自定义 API 集成的需求。
通过内心独白，根据截图决定接下来采取的操作。
可以看一下早前的文章《还没弄懂AGI，又来了一个ACI？！你再不跟上就真的被淘汰了。》
如果你想添加额外的指令并随后返回控制权，你也可以与 Operator 互动。
当你接管时，Operator 无法看到——这种互动是私密的。
例如，购买票务或查找有关活动的信息。
你还可以并行执行任务。
如果你没有指定具体的网站，Operator 也可以进行浏览，而不是直接访问应用程序或服务。
关于 Operator 的安全性，有一些细节：
它可以拒绝有害任务，避免访问被封锁的网站，并防止垃圾信息。
确认机制是 Operator 内置的一个关键缓解策略。
此外，还有一个有趣的提示注入监控作为额外的安全层。
这是一个很好的例子，说明何时 Operator 需要用户接管。在这种情况下，它请求提供电子邮件地址以继续登录。因此，互动的这一部分是保密的。
这是 CUA 在 OSWorld 和 WebArena 基准测试中的表现。CUA 的表现优于之前的最先进技术，但与人类表现相比，仍然有很长的路要走。
OpenAI 的团队提到，模型将在接下来的几周内发布。
Sam 在演示结束时表示，这是他们迈向 Agent Level 3 下一步的开始。
