让AI变成Super员工的秘密:高效训练Skills
为什么 AI 很聪明,却总干不好复杂任务?不是模型不行,而是欠缺“业务 SOP”! 本文复盘了打造 web-testing Skill 时的 4 个真实翻车教训,分享一套极具实操性的工程化训练心法(门禁规则、Checklist、自动迭代)。教你告别玄学 Prompt,把 AI 真正调教成能闭环交付的 S 级员工!不是 AI 不够强,而是大多数 AI 还没有被你训练成“懂业务、会自检、能稳定交付”的员工。
OpenClaw 火了以后,一个变化非常明显:几乎每个人都拥有了一个“什么都能干一点”的 AI 助手。
写文案、查资料、写代码、做分析、跑测试,它都能上。
但真正把 AI 拉进工作流之后,问题很快就暴露了:
AI 不是不能干活,而是经常干得不稳、不深、不像一个真正懂你业务的人。
它能执行,但不一定知道你这个场景里什么算“完成”。 它能输出,但不一定知道你团队真正要的交付物长什么样。 它能连续干很久,但上下文一长,它就会开始“失忆”、偷步骤、压缩细节,最后给你一个“看起来做完了,实际上没做全”的结果。
缘起
我最近一直在打磨一个 web-testing Skill,目标是:
给它任意一个网站的链接,它都能深入完整的探索到每一层页面的每一个细节,并输出完整的测试报告。测试报告包含总评分,站点地图,UI/UX 设计审查、功能测试、CURD全链路测试、每个测试点的截图等,自动梳理出每个页面的 bug 并按严重程度归类。输出格式包含可修改的 md 文件和更美观的 html 文件,人工审查没问题后,再交给 AI 按照报告自动修复。
实现全自主的自动化测试、自动修复、再次自动测试验证,形成发现问题 → 解决问题的 AI 自驱动式全链路自动化测试,为产品质量保驾护航。
当前还有很多细节需要打磨,但是主体功能已经完成。
这个过程给我最大的感受是:
训练 Skill,本质上不是给 AI 多喂几句 Prompt,而是在把一个聪明但不稳定的通用模型,带成一个能独立扛活的业务员工。
而且这件事,不玄学,甚至很工程化。
先说结论:把 AI 训成 S 级员工,我现在最信这 4 件事
AI 的上下文一定有限。 任务一复杂,它就会健忘。 Skill 里不能只写“想要什么”,还要写“具体怎么做”。 光写清楚还不够。 上下文一撑爆,AI 会自动忽略细节,所以一定要配可校验、可自测的 checklist 和门禁规则。 Skill 不是一次写成的。 最有效的方法永远是:跑一遍、复盘一次、让 AI 分析原因并自动改 Skill,再跑一遍,循环迭代。
如果只让我把这篇文章压缩成一句话,那就是:
Skill 的作用,不是让 AI 更聪明,而是让 AI 在你的业务里更可靠。
一、为什么 AI 明明很强,还是当不了 S 级员工?
因为大模型默认拥有的是通用能力,不是岗位能力。
通用能力解决的是:
能不能理解任务 能不能大致做出来 能不能输出一个“像样的结果”
岗位能力解决的是:
你这个业务里什么才算真正完成 哪些步骤绝对不能跳 哪些细节最容易被漏掉 哪些错误过去已经真实发生过 最终交付物应该长什么样,谁来消费,怎么验收
这两者不是一个层级的问题。
很多人第一次用 AI,会被它的“会很多”震住;但真正把它扔进复杂任务里,你会发现它特别像一个非常聪明的新同学:
你这个业务里什么才算真正完成 哪些步骤绝对不能跳 哪些细节最容易被漏掉 哪些错误过去已经真实发生过 最终交付物应该长什么样,谁来消费,怎么验收
而 Skills 做的事,就是把这些原本散落在你脑子里、团队经验里、事故教训里的内容,变成 AI 可以执行的岗位 SOP。
换句话说:
模型提供通用智力,Skill 提供业务操作系统。
二、训练 Skill,为什么一定要先承认“AI 会失忆”?
这是我这次做 web-testing Skill 时感受最深的一点。
很多人训练 Skill,默认假设 AI 会一直按你说的做下去。但现实不是这样。
现实是:
任务一长,前面的约束会被稀释 阶段一多,后面的细节会被忽略 输出一复杂,AI 会主动压缩结构 上下文一接近极限,模型会优先保“看起来完成”,而不是保“严格完整”
所以,复杂任务不是“写清楚一次”就结束了,而是必须被设计成“每一步都能自我校验”的流程。
下面这张图,是我现在最认可的 Skill 训练闭环:
注意,图里最关键的不是“再次执行”,而是中间那一步:
把错误写成规则,把经验写成 SOP,把 SOP 写成 AI 自己也能检查的门禁。
三、web-testing Skill 是怎么一步步“训出来”的?
这部分我不讲抽象方法论,直接讲真实翻车。
因为真正有效的 Skill,几乎都不是靠想象写出来的,而是从一次次真实翻车里长出来的。
3.1 第一坑:AI 不是不会点页面,而是不知道“哪些地方必须点”
这是整个 web-testing Skill 演进里最关键的一次修正。
想要实现全站自动化测试,第一个重难点就是页面发现。如果页面都没发现完全,最终的结果肯定不是完整的。
然而我们要做的是具备通用性的 Skill,即随便拿过来一个网站都能深度分析到每一个页面,而不是针对某个具体网站的专属 Skill,没有固定的点击路径、公式做约束,只能让 AI 依靠我们的描述和规则自主发现。
举一个例子:一开始,AI 在页面发现阶段漏掉了一个关键页面:
/admin/product/deployment/{deploymentId}
这个页面并不在最显眼的位置,它藏在:
版本详情页的某个 Tab 里 Tab 内容区的表格里 一个蓝色链接后面
听起来是不是很像真实业务系统里最常见的那种“藏得不深,但很容易被漏”的入口?
问题就出在这里。
AI 当时的策略是:
识别到了 Tab 知道有部署方案这个区域 也看到了蓝色链接 但没有把它当成“必须递归验证的新页面入口”
于是结果就变成了:
它不是完全没探索,而是探索到一半,靠主观判断停下来了。
大家可以看下面这张图,红框圈出来的就是被 AI 漏掉的部分。深层页面入口,最容易被 AI“看见但没真正点进去”
这类问题特别有代表性,因为它揭示了一个真相:
Web 测试的难点,很多时候不在“有没有能力点击”,而在“知不知道哪些交互必须被系统性穷举”。
所以这次改 Skill,不是补一句“请更仔细”,而是直接把“仔细”拆成了可执行动作:
页面必须滚动到底再结束扫描 Tab 切换后必须重新扫描链接 展开行里的链接必须实际点击验证 不能靠颜色或视觉主观判断链接是否重要 阶段结束前必须做递归终止自检
也就是说,Skill 里不能写:
请认真检查页面,不要遗漏入口。