自动化评测的九九归一——评测agent


背景

去年我们围绕商家经营助理场景的评测标注自动化,建设了以指标分级+基础模型池+可插拔task-head为技术路线的一系列自动打分能力,覆盖经营助理的对话全链路各环节打分,自动化机审率达80+%。

然而,随着芝麻信用域下各类AI应用场景的快速发展,AI助理、AI内容生成等技术的落地应用如雨后春笋般涌现——例如,去年我们仅支持一个商家经营助理场景,而今年仅对话式助理产品就已拓展出商家助理、租赁助理、回收助理、IM智能客服等多个产品,更不要说AIGC在用增投放场景的广泛应用。在这一背景下,原有的技术评测路线很快难以为继。

面对产品、技术链路和功能模块的快速迭代与持续新增,评测端有限的人力和资源已无法持续跟进十余个细分场景中某一两个环节的频繁升级,更不可能针对每一个指标的评分进行定向的方法开发与优化。当前我们正面临“一人应对数十项评测任务”的现实挑战,因此必须尽可能压缩人工在每个任务上的投入时间,通过更高效、更自动化的方式,以更少的人工干预快速获得评测结果,确保不拖慢每一个迭代的效率。

评测agent全链路提效

基于上述现状,我们今年就着手推进统一评测agent的建设,覆盖评测全链路各耗时环节的重点提效,包括评测集生成、标注、验收、badcase分析:

案例:功能展示

评测agent依托驯鹿平台开展功能,像一个真正的评测同学一样,学习标注文档和标注标准之后,就拥有做自动标注、验收、badcase分析的能力。同时,这个设计也统一了机审和人审(可以通过同一个文档培训评测agent,也培训标注小二),免去了业务一线同学很多沟通、传递信息的成本。

新建评测agent能力:学习标准

在平台上可以通过“新增”评测agent创建一个新的评测标准。

创建流程非常简单,只需要将完成本次评测任务应当学习的语雀文档(可以填N个)链接依次填入:

随后会进行学习,生成摘要,并自动生成打分prompt:

样本学习

学习后,可以让评测agent针对当前任务进行试标打分,如果有错误,可以通过评价错误来让评测agent进一步自主学习。

自动打分

学习到满意后,就可以在评测任务上应用当前标注能力啦!

人审预验收

人审验收过去也是评测流程中非常耗时耗精力的一个环节。而当前,对于配置了评测agent的任务,只要打开预验收,就可以在人审标注后自动获得一份预验收报告,根据报告内容进行review即可。

badcase分析

同上,评测流程完整结束后,可以触发badcase分析流程获取单条分析结果和整体分析报告。

挑战与迭代方向

随着业务的快速增长,本年评测任务数与样本数飞速提升。而为了尽量保持标注人力成本不爆炸,需在准确率不降的情况下,持续迭代基础能力,提升机审覆盖率,才能维持评测效率和成本不降。在这种情况下,维持去年的80%自动化标注水位,是远远不能满足目标的。

而要进一步提升机审率,就要直面标注深水区的困难任务:背景更业务、标准更细、模态更复杂。

如何理解这几个难点,下面的几个例子,会有比较形象的展现:

简言之,要对这些困难任务正确打分,就要在以下方向尽量优化和提升:

1.强化对各评测任务的业务背景与领域知识的理解能力;

2.抑制多模态输入在推理过程中的幻觉生成;

3.提升长程逻辑推理能力,保障多步推演过程中的逻辑一致性。

技术方案

评测agent架构

当前评测agent的主体架构如上:首先,发起调用后,路由到对应的任务模版。一方面从评测任务记忆中检索回文档、错题、问卷等上下文;同时在需要的情形下(非必须),生成检索词并召回相应的常识性知识,补充上下文。 接下来,输入中的图片/视频部分被单独拆分,经过图片描述策略分类(主文/主图)和梗概识图模型进行二次处理,并为原输入补充不同风格的图片梗概。经过上述一系列处理后,数据被送入评测Agent主模型,综合处理所有输入信息,最终输出生成文本和概率分数进行置信度评估,置信度评估的结果将用于修订评测agent的返回内容。

上述架构融合了基于业务语义与领域知识的上下文增强与知识召回机制、抑制多模态输入幻觉的图像梗概理解模块,以及基于置信度评估的人工复审样本筛选策略。该设计在一定程度上提升了评测Agent输出结果的可靠性,缓解了当前面临的关键问题,使得主模型本身的能力可以最大限度发挥作用。

识图-推理解耦

多模态大模型在复杂推理过程中普遍存在视觉幻觉问题,其核心机制在于:随着推理深度的增加,模型对原始视觉输入中浅层、细粒度感知信号的依赖逐渐衰减,导致生成内容偏离图像实际内容,即出现“推理越多,识图越差”的现象(More Thinking, Less Seeing)。 

针对该问题,当前主流技术路径可分为三类: 

1. 解码阶段动态特征唤醒:在自回归生成过程中,通过设计动态校正机制,在解码每一步显式地重新激活或融合来自视觉编码器浅层的原始特征,以约束生成内容与图像证据的一致性,从而抑制幻觉。 

2. 训练目标引导的推理分解:在训练阶段引入结构化目标,强制模型先基于图像生成忠实的描述性中间表示,再基于该描述进行推理,从结果上进行奖励或惩罚。此类方法使模型在训练过程中前建立对视觉内容的准确语义锚点。 

3. 架构层面的多层级特征重注入:在模型主干架构中进行视觉特征的多重注入,在不同推理深度显式地将原始图像的多尺度视觉特征重新注入到语言生成模块中,维持视觉-语言对齐在整个推理链中的持续性,避免高层抽象过度主导而丢失底层感知依据。

这些方法都取得了不少成果,作为one-model控制幻觉的解决方案,给我们提供了更好更可用的多模态基座。不过,如果要在应用侧进一步抑制幻觉,提升推理效果,超过基座模型的固有水平,我们想到了一个非常简单低成本的方法:

评测agent的解决方案(简单、稳定、成本特别低):做一个小尺寸模型单独识图,尽量避免思考评价,只做OCR级别的忠实描述,看完把文字识图梗概+图一起发给负责思考打分的主模型推理。

在小尺寸模型的选型上,我们使用7b~8b左右的vlm,经过简单的SFT,就可以实现理想的效果了。毕竟忠实复述任务不需要太强的推理能力,而生成时对多模态区域的注意力“塌陷”相较其他任务也是最轻微的。

对于这个描述模型,SFT的训练是必不可少的,一方面用来对齐输出格式,简化prompt长度和内容(在小尺寸模型上,过多的举例也会引入幻觉;而完全不举例,描述的方式、角度和内容可能会过于自由发挥,不符合要求);另一方面,通过从擅长OCR文字复述和擅长精细图像细节描述的两类大尺寸模型中分别蒸馏其输出,融合各自优势,进一步增强了模型对视觉内容的忠实描述能力。

梗概识图模型经过多版迭代,效果也有了显著提升,例如:

这一识图-推理解耦的架构,可以使得基座模型的多模态幻觉抑制水平大大提升。我们在主模型仍然使用qwen-vl-2.5-72b基座微调的S1版本(且是awq量化版)下,仅仅通过加入上述架构优化,就在hallusion-bench(多模态幻觉的经典公共评测集)上轻松取得一流水平的高分:

而根据qwen-vl 2.5 technical report,全参qwen-vl-2.5-72b基座在hallusion-bench上仅取得55.2分。这样一个trick方法甚至可以将原基座相关能力原地提升10个点,非常简易有效。而且由于梗概模型尺寸小、速度快、部署代价低、吞吐量更高,对于整体打分的耗时损失也处在可以接受的水平。

另外,我们在使用时,通过一个基于传统ConvNeXt-Tiny的图片策略分类模型,预先对图片进行描述策略的选择,使得90%都是文字的图片与90%都是图像元素的图片,以及根据单批次输入下的图文组合数量、模式,可以有不同的描述策略和整合策略,更加突出重点,节省资源。

主模型reasoning增强

为了在业务评测打分的推理模式下,我们对主模型进行了专项优化,以强化其多步推理与长程推理能力,并提升对长上下文任务的适配性。优化后的模型在 zero-shot 及 prompt 提供少量示例的 few-shot 场景下,能够更稳定、精准地执行推理与评分。

基座模型切换评估

如上文所述,我们在S1的时候,是在qwen2.5-vl-72b的基础上进行主模型优化,不过qwen2.5有其固有的缺陷,因此在10月qwen3-vl陆续发布后,我们就开始基座切换的评估。

根据官方技术报告,…

— 以上为试看内容(约 40%),开通会员后阅读全文 —