RAG 投毒的六个影响因素与防御框架



6 月 9 日,Polytechnic of Porto、THALES SIX GTS 等机构的研究者提交了一篇 RAG 安全论文,题目叫 《Influence Factors on RAG Poisoning》。

https://arxiv.org/pdf/2606.12469

这篇文章没有提出一个特别炫的新攻击方法,而是做了一件更贴近工程落地的事:把 RAG 投毒拆成多个系统变量,系统分析到底哪些配置会放大投毒风险。论文构建了 432 组 RAG 配置,覆盖数据集、检索器、top-k、数据库组成、chunk 参数和生成模型,并同时观察检索阶段与生成阶段的安全指标。
RAG 投毒不是一个点,而是一条链
RAG 系统的基本逻辑,是让大模型在回答问题前,先从外部知识库中检索相关材料,再把这些材料作为上下文输入给模型。
这套架构解决了大模型知识过期、领域知识不足、幻觉等问题。但它也引入了一个新的安全依赖:模型回答的可靠性,开始取决于外部知识源是否可信。 一旦外部知识库被污染,模型可能会把错误材料当作证据,生成看起来有引用、有依据、但实际被攻击者操控的答案。论文也明确指出,RAG 的生成结果会直接受到检索知识完整性的影响。
很多 RAG 投毒研究关注的是“能不能攻击成功”。这篇文章换了一个角度:同样是投毒,为什么有些 RAG 配置更容易中招,有些配置相对稳健?
这个问题很重要。企业内部 RAG 系统往往不是单一组件,而是多个知识库、多个检索策略、多个切块参数、多个模型共同组成。攻击能否成功,通常不是由某一个毒文档决定的,而是由整个 RAG 管线的配置共同决定。
实验设计:432 组配置,拆开看 RAG 的脆弱性
作者采用的是全因子实验设计,把多个 RAG 配置变量组合起来,最终得到 432 组实验配置。这些变量包括:数据集、检索器类型、top-k、数据库数量、被投毒数据库数量、chunk size、chunk overlap 和生成模型。
具体来说,实验用了两个数据集:HotpotQA 和 MS-MARCO。前者偏多跳推理,需要模型整合多个文档;后者偏开放域问答,更接近从大量文本中找出高相关 passage。为了降低实验开销,作者没有使用完整数据集,而是构建了 100 对语义相似的问题子集。
检索器方面,论文比较了三类架构:
一类是 BM25,代表传统稀疏词法检索,主要依赖词频、逆文档频率等统计特征。
一类是 Dense BGE,代表稠密向量检索,通过 embedding 相似度匹配查询和文档。
还有一类是 Graph-based retriever,也就是图检索,它不只看相似度,还利用文档之间的结构关系进行检索。
top-k 设置为 2、3、5,用来观察召回文档数量对投毒暴露面的影响。知识库配置则分成三种:一个数据库且被投毒、两个数据库但只有一个被投毒、两个数据库都被投毒。这个设计很贴近企业真实环境,因为企业 RAG 往往接入多个知识源,污染可能只发生在一个源,也可能因为同步、复制、二次加工扩散到多个源。
投毒方法:不是随便塞脏数据,而是制造“高相关错误证据”
论文中的投毒策略并不是随机插入错误文本,而是专门面向 RAG 检索机制构造毒文档。
对每个问题,攻击流程会先确定一个错误目标答案。如果问题本身包含“A or B”这样的选项,就直接选择错误选项作为攻击目标;如果没有显式选项,就让语言模型生成多个看似合理的干扰答案,再过滤掉和正确答案重复或过于接近的候选项。
随后,系统会生成一段中立、百科式的攻击文本。关键在于,这段文本开头会同时包含原始问题和错误主张,并重复问题中的关键词,以提升和用户查询之间的词面重合度,同时避免出现正确答案。
这解释了为什么 BM25 在实验中更容易受到影响。
BM25 依赖词法匹配,而攻击文本刻意强化了问题关键词和表面相关性。换句话说,攻击者并不是单纯“污染知识库”,而是在制造一种特别适合被检索器召回的错误证据。
这也是 RAG 投毒的危险之处:毒文档不需要像传统提示注入那样写得很“恶意”,它可以写得非常正常、非常客观、非常像企业知识库里的普通说明文档。
评价指标:先看毒文档有没有进上下文,再看模型有没有被带偏
论文没有只看最终攻击成功率,而是把风险拆成两层。
第一层是 检索层风险。
作者使用了三个指标:Poison@k、Poison Rank 和 Score Margin。Poison@k 关注 top-k 检索结果中是否包含毒文档;Poison Rank 关注毒文档在检索结果中的排名;Score Margin 关注最高分毒文档和最高分干净文档之间的相似度差距。
第二层是 生成层风险。
作者观察模型最终会出现三种结果:拒答或表示不确定,对应 Abstention Rate;回答正确,对应 Correct Answer Rate;被毒内容影响并输出错误目标答案,对应 ASR。
这个指标拆分很有价值。因为在真实系统里,很多风险不是直接表现为“模型已经答错”,而是表现为:
  • 毒文档已经进入了 top-k;
  • 毒文档排名很靠前;
  • 毒文档和干净文档的得分差距很小;
  • 模型这一次没有被带偏,但下一次换个问题、换个模型、换个 top-k 就可能出问题。
所以,企业做 RAG 安全评测时,不能只看最终答案是否错误,还要把检索阶段的毒文档暴露情况纳入评估。
因素一:检索器最关键,BM25 最容易被关键词型毒文档诱导
实验结果显示,检索器架构是影响 RAG 投毒暴露面的核心因素之一。
在检索层指标中,Graph retriever 对 Poison@k 的负向影响最大,系数为 -0.170;Dense BGE 也能降低 Poison@k,系数为 -0.040。在 Score Margin 上,Dense BGE 和 Graph retriever 也明显降低了毒文档相对干净文档的竞争力,系数分别为 -0.402 和 -0.317。
通俗讲,BM25 更容易把这类毒文档召回来,因为攻击文本专门堆叠了问题关键词。Dense BGE 和 Graph 检索相对稳健,是因为它们不完全依赖词面重合,而会更多考虑语义相似度或文档结构关系。
生成层也呈现类似趋势。Dense BGE 和 Graph retriever 能提高 Correct Answer Rate,并降低 ASR。表 2 中,Graph retriever 对 ASR 的影响系数为 -0.143,Dense BGE 为 -0.073。
这给企业 RAG 一个很直接的启示:检索器不是单纯的效果组件,也是安全组件。
很多团队选检索器时,主要看准确率、召回率、延迟和成本。但在 RAG 安全场景下,还需要多加一组评估:不同检索器在投毒数据下的 Poison@k、Poison Rank、Score Margin 和 ASR。
因素二:top-k 越大,毒文档越容易进入上下文
top-k 是 RAG 系统里非常常见的调参项。很多团队为了提高召回率,会把 top-k 调大,让模型看到更多材料。
但论文结果提醒我们:召回更多文档,也意味着给毒文档更多进入上下文的机会。
表 1 中,top-k 从 2 增加到 3 和 5,都会提高 Poison@k。其中 top-k=5 对 Poison@k 的系数为 0.092,top-k=3 为 0.042。作者也明确指出,检索深度增加会显著提高毒文档进入检索上下文的概率。
这并不是说 top-k 越小越安全。top-k 太小也可能导致干净证据不足,模型只能看到单一片段,反而被某一条毒文档…
— 以上为试看内容(约 40%),开通会员后阅读全文 —