多轮对话时,RAG反复做重复召回,模型层与Milvus层分别如何解决?

做 RAG 的团队,基本都会在多轮对话上吃过亏。
前几轮还表现不错,到了第四、五轮,AI 开始重复自己的历史回答内容。比如用户追问细节,系统把已经给过的段落又搜了一遍,换个说法再输出一遍。
其实,这其中的问题不出在模型,而是因为检索系统没有记忆。每一轮对话,它都当作第一次在检索。
这篇文章从阿里通义团队的多模态检索框架 VimRAG 的一个具体发现切入,聊聊多轮 RAG 里重复召回这个问题,以及用 Milvus 在工程侧落地的解法。

01 

多轮对话后,检索系统在干什么?

RAG 的链路很简单:用户提问 → 检索文档 → 喂给模型 → 生成回答。单轮场景下没什么问题。
多轮对话一进来,情况就变了。用户的第三个问题往往是对第一个问题的追问,第五个问题可能换了个角度重问第二个。每一轮,检索模块都会重新搜一遍,结果同一批文档被反复召回。
这不是偶发的。阿里通义团队在 VimRAG 的实践里测了三种记忆管理方式——传统的把所有历史拼在一起的做法,随着轮次增加,无效检索次数急剧上升;改成每轮总结历史的方式,结果其实也差不多,因为总结会丢细节,AI 还是记不住自己搜过什么。
AI 没有变笨,是它没有记忆。
这个问题带来的影响,有以下几个:
用户最先感知到的是重复。问了三轮,发现 AI 在绕圈子,对话通常就在那里终止,这种问题通常不会报错,但是会带来用户体验的降级。
Token 成本是第二个问题。VimRAG 的对照数据:传统方式平均每轮消耗 15.8k tokens,引入选择性记忆后只需 2.7k,差了近 6 倍。多轮对话的复利效应让这个缺口持续放大,用户量越大越明显。
最后是一个反直觉的结论:重复内容越多,回答质量反而越低。模型的注意力是有限的,冗余信息把关键线索稀释了,多搜不等于搜得更好。
最重要的是,训练 RAG 系统时,如果不区分哪些检索步骤真正有用、哪些是无效重复,直接用最终答案对错打分,会出现信号污染。
一个正确答案的路径里,可能有一半检索步骤是废的,但因为最终答案对了,这些废步骤也拿到了奖励;一个错误答案的路径里,可能有几步检索找到了真正有价值的信息,但因为最后推理出了错,这些有效检索也被一起惩罚了。
这就像考试只看总分不看过程。抄对答案的学生被表扬,认真解题但算错一步的学生被批评。
针对这个问题,VimRAG 的训练侧解法叫 GGPO(图引导策略优化):用图结构追踪每一步检索的贡献,找到从起点到正确答案的关键路径,只奖励路径上的步骤,把偏离路径的冗余屏蔽掉。基于这个方案,无效检索次数和 token 消耗都显著下降。

02 

不动模型,怎么在检索层把重复干掉?

VimRAG 在推理阶段有自己的去重机制——多模态记忆图(MMG),用 DAG 图结构记录每轮推理走过的路径,天然避免重复访问同一信息节点。但MMG 需要配套 VimRAG 的完整训练方案,没有微调过模型的团队几乎实现不了。
但基于Milvus ,我们可以有三条更简单的路径,在检索层直接处理重复的召回。
路径一:expr not in排除历史 ID
最直接的做法。维护一个consumed_ids列表,每轮检索后把命中的 chunk ID 追加进去,下一轮带上expr过滤:
from pymilvus import MilvusClientclient = MilvusClient(uri="http://localhost:19530")consumed_ids = ["doc_001", "doc_017", "doc_042"]res = client.search(    collection_name="rag_chunks",    data=[query_vector],    limit=5,    filter='doc_id not in ["doc_001", "doc_017", "doc_042"]',    output_field…
— 以上为试看内容(约 40%),开通会员后阅读全文 —