Harness 与 Agent 工程 · 运行控制与长任务 · 2026-05-14

Anthropic 发布 Computer Use 最佳实践

Anthropic官方出品的Computer Use最佳实践指南,从截图处理到提示注入防范,手把手教你提升AI agent操作精准度。

核心内容:

  1. 提升点击准确率的关键:先缩小截图再发送API
  2. 优化指令构造:文字指令应放在图片前面
  3. 实战案例与代码示例解析操作细节

Anthropic 最新发布了一篇 Computer Use 的开发者最佳实践,从截图怎么传、模型怎么选、上下文怎么管,到怎么防提示注入,可以说是事无巨细全都给写出来了。

其中最为重要的一条建议是:想让 AI Agent 点得更准,请先把截图缩小。

01

缩小截图

对点击准确率影响最大的优化,同时也是最简单的一个,就是在发送给 API 之前,先把截图降采样。

原因很好理解。

Claude 的 API 内部,有一个图片分辨率上限。具体的,Claude 4.6 系列最大支持长边 1568 像素、总像素 1.15MP,Opus 4.7 则宽松一些,长边 2576 像素、总像素 3.75MP。

如果超过了这个限制会怎样呢?答案是 API 会自动帮你缩小图片。

但问题在于,模型看到的是缩小后的截图,返回的坐标也是基于缩小后的尺寸,而你的客户端还在用原始分辨率去执行点击。

坐标对不上了,显然……就不可能点对地儿了。

这正是高分辨率下点击不准的头号元凶。

知道了原因,解法自然也就不难:自己先把图片缩小,不要让 API 替你去缩。

Anthropic 推荐的起始分辨率是 1280×720,大约用掉 80% 的像素预算,训练数据里也常见这个尺寸,兼容性最好。如果用 Opus 4.7,则可以直接上 1080p.

不过缩完了之后要记得一件事:坐标要缩放回去。

模型返回的点击坐标是基于你发送的缩小尺寸,执行的时候得乘以缩放系数还原到屏幕真实坐标。参考代码如下:

●●●scale_x = screen_w / display_wscale_y = screen_h / display_hscreen_x = int(api_returned_x * scale_x)screen_y = int(api_returned_y * scale_y)└

这里还有个 macOS 的坑:macOS 的截图默认是 2 倍 DPI,一块 1440p 的屏幕截出来的图实际是 2880p,远远超出 API 上限。不处理的话,点击准确率会直接崩飞了。

02

先说再看

另外,在构造消息时,要记得把文字指令放在图片前面。

●●●# 推荐:先文字后截图content = [ {"type": "text", "text": "点击提交按钮"}, {"type": "image", ...},]└

原理在于,模型先读到「点击提交按钮」,再看截图,就知道该找什么了。如果先看图再看指令,模型还得回头重新理解图片,准确率会有所下降。

就像你让人在一堆文件里找某份合同,先告诉他找什么,比先把文件堆在面前再说要求,效率高得多。

也好比给人发微信时,最好不要莫名其妙的给对方发一张截图,然后再花 5 分钟打好字给发送过去……那这 5 分钟对面基本上,会处于蒙逼状态之中。

我的经验里,这么干的人真不在少数,我自己就真的从不会这样。

03

谁点得准

Anthropic 在内部测试中发现,不同模型各有所长:

Sonnet 4.6 的点击精度最高,空间定位准,近距离失误少,而且对图片压缩的容忍度也更好。适合大部分机械执行类任务。

Opus 4.7 的推理能力更强,而且点击精度已经追上了 Sonnet 4.6. 加上它的分辨率预算更大(3.75MP vs 1.15MP),需要压缩的幅度也更小。如果任务既需要推理又需要精准点击,Opus 4.7 是目前的最优解。

Haiku 4.5 则是延迟优先的选择,适合对速度要求极高的场景。

对于复杂工作流,这里还有一个高级模式:用一个推理能力强的模型做「指挥官」负责规划和决策,再让 Sonnet 或 Haiku 去执行具体的点击操作。分工协作,各司其职。

04

目标太小怎么办

大按钮、输入框、标准菜单项,这些 Claude 都能稳定点中。

但换成复选框、系统托盘图标、下拉箭头、小开关这些元素……准确率就开始下滑了。

原因也不难理解,一张 4K 屏幕(3840×2160)压缩到 720p 之后,原本 16 像素的复选框大概只剩下 5 个像素。

而一个 5 像素的目标,换谁来点都有点够呛啊……

Anthropic 给了几个解法:

• 开 zoom:Claude 4.6 和 4.7 都支持一个 zoom 能力,能让模型先放大某个区域看清楚再点击。工具配置里加个 "enable_zoom": True 就行

• 把目标放大:如果 UI 是你自己控制的,把点击目标稍微做大一点,对准确率的提升是不成比例的。降低系统 DPI、放大浏览器缩放、调整 UI 比例,都可以

• 用键盘替代:对特别小的元素,Tab 导航或快捷键的方式,会比鼠标点击靠谱得多

05

思考强度

Claude 的 Computer Use 支持配置「思考力度」(thinking effort),从 low 到 max 几个档位。

Anthropic 做了测试对比后,建议的结论如下:

Opus 4.7 推荐用「high」。

在 OSWorld 基准测试中,high effort…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/tishicijiqiao/2026051436402.html