下一代搜索智能体评测基准!美团开源LoHoSearch,用知识图谱校准AI能力认知

过去一年,我们见证了 Search Agent 能力的显著演进。

在 BrowseComp 等评测上,顶尖模型准确率从最初的30%区间迅速攀升至90%以上。然而,当基准迅速饱和,其区分模型能力的价值也随之递减。

△图1:BrowseComp 准确率进展曲线

BrowseComp 的题目由人工设计,局限在于只能基于标注者已知的实体和关系构思,无法站在全局知识网络视角判断:哪些条件真的难检索?哪些约束的候选空间足够大?

正是这种局限,让我们开始思考另一种可能性:能不能让机器自己来出题?

美团 LongCat 团队在最新论文中提出的 LoHoSearch 基准,就是把这种可能性变成了现实。

🚀 LoHoSearch 的核心"硬核"看点:

  • 知识图谱自动化构造。 以覆盖762万维基百科实体的知识图谱为基础自动生成题目,替代人工出题。基准含544道经人工核验的题目,覆盖11个领域。

  • 双维度难度控制。 在生成中系统控制搜索空间与结构复杂度。构建出难度显著高于现有基准的挑战性问题。

  • 当前模型性能表现。 已评测模型中,GPT-5.5准确率为34.74%;现有上下文管理策略在LoHoSearch上提升幅度为6.8%,低于在BrowseComp上的14.03%。

01 设计原理:让机器出题,需要几部?

机器出题的前提,是让机器拥有全局视野。整个构建流程可以分为四个环节:建图 → 控制难度 → 质量把关 → 数据概览。下面逐一展开。

| 1.1 建图:搭建知识图谱,让机器获得全局视野

LoHoSearch 的第一步,是从完整的英文维基百科出发搭建一张大规模知识图谱:

  • 762 万个实体(每个维基页面是一个实体节点)

  • 2.65 亿条有向边(页面正文中指向其他维基页面的超链接)

  • 每个实体的类型取自其 Wikidata P31 类别,实体热度用入度来衡量

这张图谱为后续在全局视角下挑选"难题"提供了基础。

△图2:LoHoSearch 数据构造流程总览

(知识图谱构建 → 子图采样 → QA 生成与验证 → 后置过滤与人工复核)

有了图谱之后,下一个问题是:什么样的题目才算"难"?LoHoSearch 从两个维度来定义难度。

| 1.2 控制难度:搜索空间和结构复杂度两个维度

决定搜索难度的核心有两个维度,而它们恰恰是人工出题最难把控的:

  • 搜索空间:满足一个条件的候选实体有多少。候选越多,排除成本越高。

  • 结构复杂度:要同时满足多少条件才能锁定答案。条件越多、咬合越紧,求解链条越长。

针对这两个维度,LoHoSearch 设计了两种子图结构:

  • 树结构主要通过放大“搜索空间”来制造难度。

  • 图结构则在巨大搜索空间之上,通过引入环形依赖和交叉约束,进一步叠加了“结构复杂度”。

| 1.3 质量把关:从生成到验证,层层把关

子图采样完成后,还需要转换为可阅读的自然语言题目。整个转换与验证流程分为三层:

  1. 题目生成:从子图抽取维基描述,改写为自…

— 以上为试看内容(约 40%),开通会员后阅读全文 —