别再手调 RAG 了,让 Loop 自己找配置
手动调 RAG 是一件让人很头疼的事。
无论你是改 chunk size,还是换 embedding,或者是加个 reranker,都要重新跑结果。几十轮下来,单靠人工在 Excel 或是凭印象去记参数组合和评估结果,调到后面可能自己都记混配置——哪一组才是有效的组合?
其实,像是这种重复性任务刚好可以交给 Loop。尤其是这种任务往往步骤重复、结果可测量、需要不断尝试同一组旋钮,并通过一个明确指标判断结果好坏。
在本文我们会用一个例子,来实践一下如何把 RAG 调参包进一个工程 Loop。
假设我们现在有一个 RAG 系统和一组评估集,目标是把 recall@5 提到 0.9。我们会写好 Loop,让它自己去遍历搜索配置、运行评估,一旦达成既定目标就自动停下来,如果超过了最大运行限制也会及时熔断。
请记住,本文不是“让 Agent 神奇地调好 RAG”,是把一个重复性工程任务,变成一个有目标、有检查、有记录的自动循环。
RAG 调参和 Loop
Loop Engineering 有一个非常重要的前提:这个任务必须有一个自动检查机制。代码每次尝试新配置,系统得能自行判断这次跑出来的结果是好是坏。如果没有这个检查,Loop 就只能盲目运行,很难稳定改进。
而 RAG 调参刚好完美符合这个条件。
本文的检查指标是评估集的 recall@k。它是一个数字:有没有超过阈值,一目了然。就像跑单测,代码自己就能对齐结果,行就是行,不行就是不行,不用任何人为主观介入,也不用 Loop 去猜。
同时,RAG 调参本质上是在配置空间里搜索。chunk size、overlap、embedding、k 值、reranker、混合检索,这些组合起来会形成很大的搜索空间。人工试几轮之后就容易乱,但 Loop 不会累,也不会忘记自己试过什么组合。
准备工作
这个 Loop 不是从零搭一个 RAG 系统,它调的是一个在工作的 RAG pipeline。
所以,在启动 Loop 之前,你的工程里需要先准备好这 3 样东西:
一个跑通了且“暴露了关键参数接口”的 RAG pipeline。比如能随时传参修改 chunk_size、overlap、embedding_model、k 值、reranker 等。
一组标注好的评估集。不用特别庞大,大概 30~50 个典型问题就行,但每个问题都要明确配上它对应的正确源 chunk ID。没有这个评估集,自动检查就不能进行,更别提 Loop 了。
一个能返回指标的评估函数。这个函数负责接收一组 config 字典,重构完 pipeline 后在评估集上跑一遍检索,最后输出量化的召回率 recall@k。
下面这段代码就是整个 Loop 的“裁判”。Loop 每切到一组新参数,都会调用它去重新组装 pipeline,再在评估集上把所有的检索流程跑一遍,最后交出命中比例。
# eval.py — the loop's oracle, returns recall@k for a config
def evaluate(config, eval_set):
pipeline = build_rag(config) # build RAG with these parameters
hits = 0
for case in eval_set:
retrieved = pipeline.retrieve(case["question"], k=config["k"])
retrieved_ids = {c["id"] for c in retrieved}
if case["gold_chunk_id"] in retrieved_ids:
hits += 1
return hits / len(eval_set)
这段代码的重点不在具体的实现细节,而在它在架构里扮演的角色。
它是整个 Loop 的自动判断机制。Loop 每次尝试一组参数,都靠它判断这组参数是否更好。没有这个函数作基准,后面的自动搜索就没有依据。
定义搜索空间
Loop 要想干活,首先得知道它到底能动哪些旋钮。
不要一上来就给它开一个无限大的画布,要先定义一组真正会明显影响召回率的核心关键参数:chunk size、chunk overlap、embedding model、k 值、reranker,以及是否启用混合检索。
# search_space.py — what the loop searches
SEARCH_SPACE = {
"chunk_size": [400, 600, 800, 1200],
"chunk_overlap":[0, 100, 200],
"embedding": ["text-embedding-3-small", "bge-large", "e5-large"],
"k": [5, 10, 20],
"reranker": [None, "bge-reranker", "cohere-rerank"],
"hybrid": [False, True], # vectors only or vectors + BM25
}
这个搜索空间看起来不大,但组合起来有 4 × 3 × 3 × 3 × 3 × 2 = 648 种配置。
如果我们用粗暴的网格搜索全部盲扫一遍,不管是在时间成本上,还是 Token 账单上都会非常感人,而且这完全没有必要。所以,后面不能搞暴力破解,得让 Loop 用更聪明的方式逐步找更好的配置。
做一个可评估的检查
Loop 的重点是检查。在这个例子里,recall@k 是一个很好的检查指标,但它有两个常见问题。
第一个是过度适配评估集,Loop 会把评估集刷高了,但真实效果没有变好。如果 Loop 一直在同一组问题上优化,它可能会找到一组“刚好适合这几十个问题”的配置。最后 eval 分数变高了,但真实场景里的 RAG 效果不一定变好。
这和代码里的 reward hacking 很相似,只不过这里的 reward 变成了一个数字指标。
这个问题的解法是把评估集拆成两部分:一部分给 Loop 优化用,叫 train set;另一部分作为 held-out set,Loop 在调参过程中不能看到,最后只用它来检查最终配置是否可靠。
import random
def split_eval(eval_set, holdout_frac=0.3, seed=42):
random.Random(seed).shuffle(eval_set)
n = int(len(eval_set) * (1 - holdout_frac))
return eval_set[:n], eval_set[n:] # train for the loop, holdout for you
train_set, holdout_set = split_eval(eval_set)
这段代码的作用就是把评估集拆成 train 和 holdout。
第二个问题是测量噪声。如果评估集只有 30 个问题,那么 recall 从 0.87 到 0.90 的变化,可能并不代表真实提升,它只是样本太小带来的波动。
如果最小提升阈值设得太低,Loop 就容易把随机波动当成真实提升,围绕噪声反复调整。比较建议的做法是先设一个最小提升幅度。当 recall 的提升超过这个阈值时,再更新当前的最佳配置。比如这里可以把阈值设成 0.02;如果提升小于这个幅度,就先把它当作测量噪声,不急着改配置。
Loop 的聪明搜索
上面说过把 648 种组合全部扫一遍是又贵又慢。
这里可以换一个更简单的策略:coordinat…