RAG与Agent用到深水区,一定会遇到这个问题:明明检索结果没什么问题,但模型输出结果似乎总是差点意思,上下文成本也一直居高不下。根本原因在于,为了将所有相关的内容完整召回,经常一次query,可以打捞出三五段,甚至十段文档给LLM。如果每篇文档几千字,一个query就要消耗几万个token。但问题是,这10篇文档里,真正有用的句子可能只有几十句,而剩下的,全是噪音。大量的噪音灌入,不仅浪费token,也分散了LLM注意力。对人类用户来说同样如此,电商、客服RAG中,经常会有几千字的技术文档、几十页的合同或很长的客服记录,阅读者打开文档,再逐段寻找“重点”,不仅搜寻麻烦,还要多一个文档下载过程。为了解决这一问题,在Milvus 3.0中,我们引入了最新的Highlight能力,可以对与查询相关的文本进行词法(BM25 搜索文本或显式的TextMatch查询匹配 token)或者语义层面的高亮:短文本直接展示匹配内容,长文本截取重点及附近上下文,从而降低大模型的上下文长度,也让电商、知识库等场景的检索变得更加高效、直观。01
词法高亮:通过Token匹配高亮
作为基础、最常用的方案,词法高亮的逻辑和 BM25、Text Match 搜索一脉相承,复用同一套分词规则(analyzer)来处理查询和结果文本;匹配到命中的词汇后,直接按照它们在原文中的位置插入高亮标记,保证搜索命中的词项和结果展示的边界完全一致,不会出现错位偏差。查询与结果文本 → analyzer → token 匹配 → 原文位置 → 高亮结果
如果是配合 BM25 搜索使用,只需开启highlight_search_text=True,系统就会直接用当前的搜索关键词生成高亮。比如搜索 “BM25 混合搜索”,返回的标题 “BM25 与混合搜索的配置方法” 会自动标注出匹配的关键词,让用户一眼看到命中点。from pymilvus import LexicalHighlighter, MilvusClientclient = MilvusClient(uri="http://localhost:19530")highlighter = LexicalHighlighter( pre_tags=[""], post_tags=[""], highlight_search_text=True,)results = client.search( collection_name="document_titles", data=["BM25 混合搜索"], anns_field="title_sparse", search_params={"metric_type": "BM25"}, limit=10, output_fields=["title"], highlighter=highlighter,)如果需要自定义匹配规则,或是给向量搜索结果补充关键词匹配证据,也可以通过highlight_query显式指定 TextMatch 条件,灵活设置目标字段和匹配文本。highlighter = LexicalHighlighter( highlight_search_text=False, highlight_query=[{ "type": "TextMatch", "field": "title", "text": "BM25 混合搜索", }], pre_tags=[""], post_tags=[""],)当前显式词法高亮查询支持 TextMatch。它只在已经返回的结果…