Search Agent 要如何构造复杂有效的Query?
最近技术群的老哥问了一个非常贴合实际的问题:
给大家分享一下小逸的经验~
在搜索场景下怎么样去构造评测数据?
首先我们思考一下,我们在测评 Search Agent / DeepSearch的时候,需要怎么构建测试集?
一个简单的想法就是:直接拿线上的Query日志不就好了吗?
但问题是,真实用户大部分问题都是简单查事实,并且口语化严重,真正能暴露 Agent 搜索能力的问题,比例并不高。
所以构建评测集时,不能只依赖线上原始 Query。
我们需要思考这三个问题:
除了真实 Query,还能怎么构造复杂 Query? 困难样本里的“困难约束”应该怎么挖掘? 简单样本和困难样本的比例应该怎么配?
复杂 Query 不能只靠写长
很多人在构造复杂 Query 时,很容易走到一个误区:
把问题写得很长、加很多限定词、塞很多实体,就觉得它是 Hard Query。
但在搜索场景里,复杂不等于长。
真正有价值的复杂 Query,应该能让系统在搜索过程中暴露能力短板。
比如:
能不能搜到真正相关的信息 搜偏之后会不会改写 Query 不同来源冲突时会不会判断证据 搜索中途发现方向错了,会不会重新规划 多步搜索后,会不会忘记最初目标 信息过期时,会不会意识到时间变化
所以构造复杂 Query 的核心,是给 Query 加入真实搜索过程中会出现的约束。
那么这些约束从哪里来?最稳妥的来源,还是线上真实的用户问题。
从真实 Query 出发,避免完全凭空造
首先我建议,先把线上困难的真实Query作为种子数据,再围绕它扩增复杂版本。
比如原始 Query 是:
OpenAI 收购 Windsurf
它本身只是一个简单事实查询。
但可以扩展成:
OpenAI 收购 Windsurf 之后,对 Cursor 的产品定位和商业化会有什么影响?
这样就从一个单点事实问题,变成了需要搜索事件、产品能力、竞品关系、市场影响的复杂问题。
种子有了,下一步的问题是:从一个简单 Query 出发,具体可以往哪些方向扩?下面这 6 种方法是我常用的几条路径。
构造复杂 Query 的 6 种方法
增加 Multi-hop 约束
Multi-hop 可以理解为:回答这个问题不能只看一个网页或一个事实点,需要跨多个信息源做整合。
原始 Query:
Windsurf 是什么?
复杂版本:
Windsurf 和 Cursor 在产品能力、目标用户、商业化路径上有什么差异?
这个问题至少需要搜索:
Windsurf 的产品定位 Cursor 的产品定位 两者功能差异 两者面向的用户群 可能的商业模式
这种复杂度是有意义的,因为它测的是信息整合能力。
增加时间约束
搜索场景里,时间非常关键。
很多答案只在某个时间点正确,过一段时间就可能失效。
可以把普通 Query 改造成带时间约束的 Query。
比如:
2024 年大家对某个 AI Coding 产品的评价是什么?
可以扩展成:
2024 年到 2026 年,这个 AI Coding 产品的定位发生了哪些变化?
这样就要求系统区分不同时间点的信息,不能拿旧资料回答新问题。
这类 Query 适合测试 Temporal Drift,也就是时间漂移问题。
增加证据冲突约束
真实搜索里,不同来源经常说法不一样。
比如:
官方公告说得很谨慎 媒体报道会更激进 博客文章会加入主观分析 社交平台会有很多未经验证的信息
可以构造这类 Query:
关于某公司收购某产品,不同媒体说法不一致,哪些信息是确定的,哪些只是推测?
这种问题的价值在于,它要求系统判断证据可靠性,而不只是给出一个结论。
它适合测试 Grounding,也就是回答是否真的建立在证据上。
增加检索陷阱
有些 Query 看起来很简单,但搜索结果很容易跑偏。
常见原因包括:
实体名有歧义 缩写有多个含义 产品名和普通词重名 中英文叫法不一致
比如:
Agent 可能是 AI Agent,也可能是代理人 Memory 可能是大模型记忆,也可能是计算机内存 Rust 可能是编程语言,也可能是铁锈 Apple 可能是公司,也可能是水果
这类 Query 可以测试系统能不能识别语境,避免看到高相关…