Anthropic 最新发布了一篇 Computer Use 的开发者最佳实践,从截图怎么传、模型怎么选、上下文怎么管,到怎么防提示注入,可以说是事无巨细全都给写出来了。
其中最为重要的一条建议是:想让 AI Agent 点得更准,请先把截图缩小。
01
缩小截图
对点击准确率影响最大的优化,同时也是最简单的一个,就是在发送给 API 之前,先把截图降采样。
原因很好理解。
Claude 的 API 内部,有一个图片分辨率上限。具体的,Claude 4.6 系列最大支持长边 1568 像素、总像素 1.15MP,Opus 4.7 则宽松一些,长边 2576 像素、总像素 3.75MP。
如果超过了这个限制会怎样呢?答案是 API 会自动帮你缩小图片。
但问题在于,模型看到的是缩小后的截图,返回的坐标也是基于缩小后的尺寸,而你的客户端还在用原始分辨率去执行点击。
坐标对不上了,显然……就不可能点对地儿了。
这正是高分辨率下点击不准的头号元凶。
知道了原因,解法自然也就不难:自己先把图片缩小,不要让 API 替你去缩。
Anthropic 推荐的起始分辨率是 1280×720,大约用掉 80% 的像素预算,训练数据里也常见这个尺寸,兼容性最好。如果用 Opus 4.7,则可以直接上 1080p.
不过缩完了之后要记得一件事:坐标要缩放回去。
模型返回的点击坐标是基于你发送的缩小尺寸,执行的时候得乘以缩放系数还原到屏幕真实坐标。参考代码如下:
●●●scale_x = screen_w / display_wscale_y = screen_h / display_hscreen_x = int(api_returned_x * scale_x)screen_y = int(api_returned_y * scale_y)└
这里还有个 macOS 的坑:macOS 的截图默认是 2 倍 DPI,一块 1440p 的屏幕截出来的图实际是 2880p,远远超出 API 上限。不处理的话,点击准确率会直接崩飞了。
02
先说再看
另外,在构造消息时,要记得把文字指令放在图片前面。
●●●# 推荐:先文字后截图content = [ {"type": "text", "text": "点击提交按钮"}, {"type": "image", ...},]└
原理在于,模型先读到「点击提交按钮」,再看截图,就知道该找什么了。如果先看图再看指令,模型还得回头重新理解图片,准确率会有所下降。
就像你让人在一堆文件里找某份合同,先告诉他找什么,比先把文件堆在面前再说要求,效率高得多。
也好比给人发微信时,最好不要莫名其妙的给对方发一张截图,然后再花 5 分钟打好字给发送过去……那这 5 分钟对面基本上,会处于蒙逼状态之中。
我的经验里,这么干的人真不在少数,我自己就真的从不会这样。
03
谁点得准
Anthropic 在内部测试中发现,不同模型各有所长:
Sonnet 4.6 的点击精度最高,空间定位准,近距离失误少,而且对图片压缩的容忍度也更好。适合大部分机械执行类任务。
Opus 4.7 的推理能力更强,而且点击精度已经追上了 Sonnet 4.6. 加上它的分辨率预算更大(3.75MP vs 1.15MP),需要压缩的幅度也更小。如果任务既需要推理又需要精准点击,Opus 4.7 是目前的最优解。
Haiku 4.5 则是延迟优先的选择,适合对速度要求极高的场景。
对于复杂工作流,这里还有一个高级模式:用一个推理能力强的模型做「指挥官」负责规划和决策,再让 Sonnet 或 Haiku 去执行具体的点击操作。分工协作,各司其职。
04
目标太小怎么办
大按钮、输入框、标准菜单项,这些 Claude 都能稳定点中。
但换成复选框、系统托盘图标、下拉箭头、小开关这些元素……准确率就开始下滑了。
原因也不难理解,一张 4K 屏幕(3840×2160)压缩到 720p 之后,原本 16 像素的复选框大概只剩下 5 个像素。
而一个 5 像素的目标,换谁来点都有点够呛啊……
Anthropic 给了几个解法:
• 开 zoom:Claude 4.6 和 4.7 都支持一个 zoom 能力,能让模型先放大某个区域看清楚再点击。工具配置里加个 "enable_zoom": True 就行
• 把目标放大:如果 UI 是你自己控制的,把点击目标稍微做大一点,对准确率的提升是不成比例的。降低系统 DPI、放大浏览器缩放、调整 UI 比例,都可以
• 用键盘替代:对特别小的元素,Tab 导航或快捷键的方式,会比鼠标点击靠谱得多
05
思考强度
Claude 的 Computer Use 支持配置「思考力度」(thinking effort),从 low 到 max 几个档位。
Anthropic 做了测试对比后,建议的结论如下:
Opus 4.7 推荐用「high」。
在 OSWorld 基准测试中,high effort…