如何利用 Harness “一句话交付产品功能”?
为了更快的发布大模型评测平台,我们借鉴 OpenAI 的思路搭建了一套 Harness 模式,之前需要 1 天开发完的功能,现在基本上 2 个小时左右就可以完成。
01
在 我让 OpenClaw 🦞 管理大模型评测任务中,我们通过自建的 Side-by-Side 平台来实现多模态大模型的偏好打分以及对抗榜单结果。在 2026 年 2 月平台刚上线的时候,还只支持最基本的 Side-by-Side 的功能,比如只支持生图大模型的评测,并且对于图生图大模型而言,仅支持参考图片为单图的评估场景……因此,我们的评测平台属于是一个功能不断丰富、扩展的状态。平台功能的升级一方面来自参与到实际评估中的用户的真实反馈,另一方面来自我们对平台功能点的规划。
△ Side-by-Side 效果
△ 用户反馈
在实现上,平台由 React的前端服务 versus-fe 和 Go 的后端服务 versus-server 构成,并且对于前后端的这 2 个服务,我们分别安排了一个同学来负责。整体看,这个系统也属于:麻雀虽小、五脏俱全。
02
Vibe Coding 是“AI 代写代码,人来统筹状态”;而 Harness 是“代码库即唯一事实,Agent 自治流转状态”。
最开始的时候,我们的前后端开发人员各自使用 DUCC 通过 Vibe Coding 的方式来编码前后端服务,然后再进行联调测试,最后再利用 TOOS 平台发布新功能。
可以看到,Vibe Coding 模式下,开发过程中的唯一的变化就是代码的实现由人变成了 AI。而新功能的拆解,模块之间的联调,代码的迭代调整还都是人来驱动的,不同的是,人的产物不再是代码,而是自然语言。我们最开始并不太懂 React,但是整个平台在 AI 的帮助下,也就这么构建起来了。无疑,Vibe Coding 极大地降低了产品开发的门槛。
慢慢的,我们发现,虽然我们在 CLAUDE.md 中补充了很多的知识,虽然 Vide Coding 确实提升了我们的开发效率,但是有时候我们总是会为了调整页面的某个元素而浪费几十分钟的时间,而人去改动这些代码可能只需要几分钟。更让人接受不了的是,整个的改动过程会出现越改越糟的问题,这实在是令人抓狂。
当提示词比较长的时候,我们希望增加一个展开全部的功能,避免过长的提示词占据屏幕的整个区域,从而提升打分过程的交互体验。就是这么一个小小的改动,我们来来回回和 DUCC 沟通了2 个多小时,中途多少次我都萌生了亲自去写这块代码的冲动……后来,/clear 了上下文,还原了所有的代码改动,重新给新的提示词,才完成了最后的效果。
麻了,我再也不想和 AI 废话了,我不想写代码,同时我也不想和 AI 来来回回的聊天了。在 我用 Harness Engineering 来进行书籍翻译工作之后,我想,是时候让 Harness 发挥更大的价值了。
03
最开始有这个想法的时候,我的心里也犯嘀咕:
项目架构并不复杂,有必要搞 Harness 吗?
Harness 还并没有跑出一套可复制的成功路线,有必要探索吗?
Harness 真的靠谱吗?
……
但是,在再次精读了 OpenAI 的 Harness engineering: leveraging Codex in an agent-first world 与 Anthropic 的 Harness design for long-running application development 后,我认为这个事情有搞头。
在 OpenAI 的 Case 中,他们也是基于内部的一个工具来实验的,这个和我们的平台的发展阶段类似。
从 UI 交互复杂性而言,我们的平台不涉及特 别复杂的交互,因此在 Harness 的校验闭环中,更具备可操作性。
对于如此轻量级架构的工程,如果 Harness 都无法胜任,那么 Harness 也不可能胜任更复杂的系统。
04
4.1 构建单仓代码库
有了基本的判断之后,我们小组 4 个同学凑到了一起开始讨论具体的技术路线。我们采用了 OpenAI 的:“代码库作为 Agent 的唯一知识来源” 的思路来构建我们的 Harness,当我们发现 Agent 行为出现偏差的时候,我们就在对应的地方补充适当的约束来对 Agent 进行限制。
From the agent’s point of view, anything it can’t access in-context while running effectively doesn’t exist. Knowledge that lives in Google Docs, chat threads, or people’s heads are not accessible to the system. Repository-local, versioned artifacts (e.g., code, markdown, schemas, executable plans) are all it can see.
但是,与 OpenAI 从一个空代码库开始构建不同,我们的系统已经拆分为 versus-fe 和 versus-server 两个代码仓库了,并且我们已经把代码库的相关知识写入了各自的 CLAUDE.md 文件中。而对于两个仓库之间的知识,则存储在了人的经验中,而这恰好是 Agent 无法访问到的知识。而暴力的把两个已经存在的代码库强制合并到一个仓库中,又涉及到比较大的改动:
目录结构的调整
CI 任务的调整
上线方式的调整
正如 Peter Pang 在文章 Why Your “AI-First” Strategy Is Probably Wrong 中所述:
I had to unify all the code into a single monorepo. One reason: so AI could see everything.
AI-first 意味着我们必须以 AI 为核心重塑我们的流程、架构、组织模式,而不是让 AI 来适配当下的架构。根据“康威法则”,团队怎么分工、如何沟通,代码仓库就会变成对应的结构。因此,要实现 OpenAI 的博客中的 Harness 模式,必须首先重构代码仓库的组织方式。
理念是个好理念,但是具体实施起来,看起来有点麻烦。我们想改,但是又不想花费太大的力气。
最终,我们采用 Git Submodule 的方式实现了代码仓库的 AI-First 重构。我们首先先建了一个主仓库 versus, versus-fe 和 versus-server 仓库则以子模块的形式整合到主仓库中。
versus/ # 父仓库├── versus-server/ # 服务端子模块 (Go + Gin)| └── CLAUDE.md # 服务端 Claude Code 项目指令├── versus-fe/ # 前端子模块 (React + Vite)| └── CLAUDE.md # 前端 Claude Code 项目指令├── scripts/ # 管理脚本│ ├── setup.sh # 初始化开发环境│ ├── pull-all.sh # 拉取所有子模块│ ├── status.sh # 查看仓库状态│ └── sync-user-config.sh # 同步用户配置├── .claude/ # Claude Code 配置与 Agent 定义│ ├── settings.json # Agent 与 MCP 插件全局配置│ ├── settings.local.json # 本地工具权限授权(不入库)│ ├── agents/ # 6 个协作 Agent 定义文件│ │ ├── requirement-designer.md│ │ ├── go-api-implementer.md│ │ ├── frontend-engineer.md│ │ ├── test-case-designer.md│ │ ├── integration-test-runner.md│ │ └── e2e-test-executor.md│ └── agent-memory/ # Agent 跨会话记忆│ ├── requirement-designer/MEMORY.md│ ├── go-api-implementer/MEMORY.md│ ├── frontend-engineer/MEMORY.md│ ├── test-case-designer/MEMORY.md│ ├── integration-test-runner/MEMORY.md│ └── e2e-test-executor/MEMORY.md├── docs/ # 项目文档与需求产物│ ├── system-architecture.md # 系统架构说明│ ├── 6-agent-collaboration-summary.md # 6-Agent 协作流水线总结│ └── requirements/ # 各需求流水线产物(按 REQ-ID 组织)│ ├── REQ-001/ │ ├── REQ-CASE-RESOURCE/ │ ├── REQ-VIDEO-TYPES/ │ ├── REQ-020/ │ └── REQ-ERROR-CODE/├── .gitmodules # 子模块配置(已被 .gitignore 忽略)├── .gitignore # Git 忽略规则├── CLAUDE.md # 项目整体知识├── dev.sh # 一键启动前后端服务├── README.md # 项目说明└── FEATURES.md # 功能清单
versus目录下的CLAUDE.md主要存放 跨前后端、跨 Agent、跨需求都需要知道的全局知识,相当于整个项目的作战地图 + 协作规则 + 产品背景 + 全局约束。AI Coding 和 AI Testing 过程中需要的相关 Agent、产生的需求文档、测试用例列表、测试执行结果均存储于
versus的主仓库目录下,从而真正实现了“一切皆在代码库,代码库之外,别无他物”的目标。versus-fe和versus-server目录下的CLAUDE.md则存放前端和服务端相关的知识,包括架构、约束、编码规范等知识。Git Submodule增加了仓库操作的复杂性,比如拉取主仓库代码时,需要递归拉取各子仓库的代码;而当子仓库的代码有修改需要提交时,也需要同时提交主仓库以更新主仓库对子仓库的版本索引。因此,为了降低仓库的操作复杂度,我们同时让 DUCC 帮我们实现了一系列的仓库管理脚本,从而实现通过自然语言交互就能稳定实现相关功能的目的。
△ 一句话更新主仓库、子仓库的代码
△ 一句话部署前后端代码,并用浏览器打开首页
4.2 Harness 闭环设计
4.2 Harness 闭环设计
Anthropic 的 Harness design for long-running application development 博客中提到当前的模型具备如下的问题:
上下文焦虑:当模型感知到即将达到自身上下文上限时,就会出现模型提前结束任务的现象。
自视甚高:当智能体评价自己完成的工作时,即便这些产出在人类看来平平无奇时,他们也会自信地大加夸赞。
为了解决如上的问题,我们按照软件开发的端到端流程拆分了 6 个基本的 Sub-Agent。
通过如上 6 个 Sub-Agent 的全流程自动流转和验证,形成完整的、自我完善的 Harness 开发闭环。
整个的闭环流程,除了 PRD 阶段需要人工审核以外,其他阶段均不需要人工介入。尤其是在前、后端开发过程中,Harness 避免了前后端 RD 之间的沟通与协作成本,极…