Harness Engineering实践,做了一个平台让AI一晚上自动评测和优化你的系统


本文介绍一个我近期做的一个实践流程,快速搭建了一个小平台,基于这个平台可以做全自动化的评测,乃至于整个系统的全自动化优化,包括三个案例:
1. 基础的全自动化无UI评测;
2. 带UI的自动化评测,甚至评测UI里面的内容质量;
3. 整个系统的自动评测+优化,来回往复进行三轮,优化一晚上。

一、准备一个评测平台

说起评测平台,大家想到的,都是先定义好要做什么评测任务,然后去收集一些评测集,用评测集进行任务的回放和评测指标的观测,最后拿到评测结果,这个是一个很自然的评测流程。

但很快遇到一个痛点:人去做评测集的收集很苦很累,评测的进行也很烧时间,评测同学的意愿也并不是很强。

现在AI时代,自然就会想着AI First,能否定义好评测任务,让AI自主的去生成评测集,并且自主的模拟用户去运行这些评测,最终生成评测报告,乃至于最终能够基于评测报告优化系统,并且继续持续往复的进行过程。

这种AI First的理念,落到平台上,其实尽量就是只允许AI操作,人是无法操作的,从入口层面杜绝了人去干苦力活,如下图所示,玩法其实很简单,平台分不同的工作空间,然后复制这个技能说明,到自己的AI Agent里去((本地的cc、codex、qoderwork、悟空等等都可以),就可以发布评测任务、让AI认领评测任务去生成评测集、基于评测集评测、提交评测报告等等工作。

这个评测平台有这些能力,都让AI来自动化操作:

1.创建评测任务,评测任务要求写明白评测目标、验收标准;

2.创建评测集,一个评测任务绑定若干个评测集,评测集要求有明确的评测步骤和预期结果;

3.创建评测报告,一个评测任务可以有多个评测报告,评测报告就是基于评测集的报告,最终会有一个打分。

具体我们来看多个案例,如何让AI生成任务和评测集,并且自己进行评测(包括UI评测),提交评测报告,最后还能基于评测报告优化系统,来回往复进行全自动优化。

二、长时间的系统自动优化

这里更新一个新的case,没看过原文的同学可以先从下面的基础case看起。

对于评测集,我们设定了两种,分别是标准(有明确的成功还是失败的状态),以及rubrics,也就是对于一些内容质量评测的时候,无法直接是成功还是失败,比如评测生成出来的一个图片好坏,这种时候利用rubrics生成一系列的不同等级的评测用例。

例如对一个查询OKR的场景,只是查没查出来是欠点意思的,但是可以生成出一系列的不同等级的评测用例:

在AI连接评测平台去生成评测集的说明里也有体现:

然后对于一个系统,在做一个AI优化功能的时候,不仅仅考虑AI功能本身做出来的质量如何,也需要考虑比如系统的顺滑衔接、UI的品味和质量高低,所以AI在反复迭代验证的时候,会生成多套评测集,来回反复的去验证:

对这些继续的AI自动自己进行评测优化和迭代,效果还是非常的好的,持续的优化评测集,优化,然后继续下一个版本的迭代,分数是稳步上升的:

三、一个基础的自动化测评案例

我们来举一个例子,比如钉钉文档有MCP,我现在想全方位的测评一下这个钉钉文档,所以我打开QoderWork,复制评测平台上的链接,输入这么一段话:

阅读https://ai-test.alibaba.net/skill-setup.md?api_key=***-***-***,当前空间的apikey=***-***-***目前我们要来测试钉钉文档的mcp,了解钉钉文档mcp能做哪些事情,然后发布一个评测任务,生成至少10个评测集,并且进行评测提交评测报告

如图所示:

经过一段时间后,我们能看到跑完了,创…

— 以上为试看内容(约 40%),开通会员后阅读全文 —