一、出发点
最近深度体验了一把从产品设计、UI/UX,到前后端开发,再到核心算法落地的全流程闭环。目前终于成功把流程 Run 起来,虽然在高并发处理和算法精度上还有不少待优化点,但这次实践让我对系统架构的全局把控有了更立体的认知。先说出发点为什么要做这样一个事情,目前做一个skill的方式主要有两种,一种是人工编写skill,一种是在openclaw,Claudcode上通过对话不断交互生成skill,先说这两种方式可能会有什么问题,模式一人工编写受限于个人经验与精力,存在效率比较低,质量波动大,测试覆盖不足等瓶颈,并且可能对于团队来说容易在原子通用逻辑上重复造轮子;模式二虽提升了编码速度,但本质仍是非确定性的探索过程,缺乏自动化验证闭环与工程化约束,且一次只能生成一版,需要多轮交互才能生成一个较为稳定版本。因此面向Harness设计的技能工厂的想法就油然而生了。
二、产品功能
生产模式——标准化测试驱动技能生成
技能定义
首先用户可以输入自己想生成的技能,测试问题,和API接口,(后面也会支持挂载sop文档,之前做过像维修类场景会有一些标准化流程类操作,可行性上来说搭配对应的接口api是可以直接转化成skill的)。
基线诊断
首先判断是否有必要生成,是否直接用大模型就可以回答问题了又或者直接复用现有的skill就可以回答问题,为了回答这两个问题,构建了两个评估模块
- 裸模型评估:直接让模型执行目标任务,作为基线对照。
- skill匹配分析:召回相似skill,执行用户输入的测试问题,评估现有技能是否满足用户需求
如果不能解决或者不匹配这些失败点和不确定行为,本质上就是 Skill 需要解决的真实能力缺口
测试构建
目前测试构建主要是对用户之前输入的测试问题进行复用。
多路并发skill生成
之前调研anthropic,openclaw都有skill-creator—专门用于生成技能的skill,最近又看到一个专门为 Claude、Cursor、Codex 等 AI 编程助手设计的结构化工作流框架superpowers,github上138k个star。里面也有专门写skill的writing-skills技能,试用了一下感觉比较快并且执行writing-skills生成的技能react的次数会变少。很难讲用基于哪一种基础的skill-creator写出来的skill的效果最好并且这个环节中可能存在一些不稳定因素,LLM执行生成本身具有一定随机性,因此通过并行调用 3 种不同策略(或不同模型/不同 Prompt 模板)的 Creator,相当于一次性买了三张不同号码的彩票。结果:只要其中一路生成了高质量代码,整个任务就算成功。这极大地提高了首次生成成功率 (First-Time…