Search Agent 要如何构造复杂有效的Query?


最近技术群的老哥问了一个非常贴合实际的问题:

给大家分享一下小逸的经验~

在搜索场景下怎么样去构造评测数据?

首先我们思考一下,我们在测评 Search Agent / DeepSearch的时候,需要怎么构建测试集?

一个简单的想法就是:直接拿线上的Query日志不就好了吗?

但问题是,真实用户大部分问题都是简单查事实,并且口语化严重,真正能暴露 Agent 搜索能力的问题,比例并不高。

所以构建评测集时,不能只依赖线上原始 Query。

我们需要思考这三个问题:

  • 除了真实 Query,还能怎么构造复杂 Query?
  • 困难样本里的“困难约束”应该怎么挖掘?
  • 简单样本和困难样本的比例应该怎么配?

复杂 Query 不能只靠写长

很多人在构造复杂 Query 时,很容易走到一个误区:

把问题写得很长、加很多限定词、塞很多实体,就觉得它是 Hard Query。

但在搜索场景里,复杂不等于长。

真正有价值的复杂 Query,应该能让系统在搜索过程中暴露能力短板。

比如:

  • 能不能搜到真正相关的信息
  • 搜偏之后会不会改写 Query
  • 不同来源冲突时会不会判断证据
  • 搜索中途发现方向错了,会不会重新规划
  • 多步搜索后,会不会忘记最初目标
  • 信息过期时,会不会意识到时间变化

所以构造复杂 Query 的核心,是给 Query 加入真实搜索过程中会出现的约束。

那么这些约束从哪里来?最稳妥的来源,还是线上真实的用户问题。

从真实 Query 出发,避免完全凭空造

首先我建议,先把线上困难的真实Query作为种子数据,再围绕它扩增复杂版本。

比如原始 Query 是:

OpenAI 收购 Windsurf

它本身只是一个简单事实查询。

但可以扩展成:

OpenAI 收购 Windsurf 之后,对 Cursor 的产品定位和商业化会有什么影响?

这样就从一个单点事实问题,变成了需要搜索事件、产品能力、竞品关系、市场影响的复杂问题。

种子有了,下一步的问题是:从一个简单 Query 出发,具体可以往哪些方向扩?下面这 6 种方法是我常用的几条路径。

构造复杂 Query 的 6 种方法

增加 Multi-hop 约束

Multi-hop 可以理解为:回答这个问题不能只看一个网页或一个事实点,需要跨多个信息源做整合。

原始 Query:

Windsurf 是什么?

复杂版本:

Windsurf 和 Cursor 在产品能力、目标用户、商业化路径上有什么差异?

这个问题至少需要搜索:

  • Windsurf 的产品定位
  • Cursor 的产品定位
  • 两者功能差异
  • 两者面向的用户群
  • 可能的商业模式

这种复杂度是有意义的,因为它测的是信息整合能力。

增加时间约束

搜索场景里,时间非常关键。

很多答案只在某个时间点正确,过一段时间就可能失效。

可以把普通 Query 改造成带时间约束的 Query。

比如:

2024 年大家对某个 AI Coding 产品的评价是什么?

可以扩展成:

2024 年到 2026 年,这个 AI Coding 产品的定位发生了哪些变化?

这样就要求系统区分不同时间点的信息,不能拿旧资料回答新问题。

这类 Query 适合测试 Temporal Drift,也就是时间漂移问题。

增加证据冲突约束

真实搜索里,不同来源经常说法不一样。

比如:

  • 官方公告说得很谨慎
  • 媒体报道会更激进
  • 博客文章会加入主观分析
  • 社交平台会有很多未经验证的信息

可以构造这类 Query:

关于某公司收购某产品,不同媒体说法不一致,哪些信息是确定的,哪些只是推测?

这种问题的价值在于,它要求系统判断证据可靠性,而不只是给出一个结论。

它适合测试 Grounding,也就是回答是否真的建立在证据上。

增加检索陷阱

有些 Query 看起来很简单,但搜索结果很容易跑偏。

常见原因包括:

  • 实体名有歧义
  • 缩写有多个含义
  • 产品名和普通词重名
  • 中英文叫法不一致

比如:

  • Agent 可能是 AI Agent,也可能是代理人
  • Memory 可能是大模型记忆,也可能是计算机内存
  • Rust 可能是编程语言,也可能是铁锈
  • Apple 可能是公司,也可能是水果

这类 Query 可以测试系统能不能识别语境,避免看到高相关…

— 以上为试看内容(约 40%),开通会员后阅读全文 —