AI 答疑助手优化实践:从 RAG 到 LightRAG 的全链路升级




本文针对传统RAG存在的意图识别模糊、知识碎片化及缺乏评测闭环等痛点,提出了一套系统性解决方案:首先,利用思维链(CoT)驱动的意图识别,将用户问题分解为多步逻辑查询并行检索,解决了上下文工程中查询不精准的问题;其次,在检索架构上,对比了GraphRAG高昂的构建成本与维护难度,文章重点阐述了LightRAG的落地实践,通过实体关系抽取与双层检索范式,在保留图结构优势的同时实现了秒级响应与增量更新;最后,构建了多维度的评测体系,强调人工校验以克服模型“过度自信”,旨在通过数据驱动的方式持续提升答疑系统的上下文构建能力。

引⾔


当你问一个 AI 助手"怎么在平台上配置灰度发布",它却回答你一段 Kubernetes 的通用教程——这种"答非所问"的体验,相信很多做过 AI 答疑系统的团队都不陌生。本文将分享我们在内部 AI 答疑助手项目中,如何系统性地解决这类问题。文章聚焦在我们认为真正有技术深度的三个方向:基于思维链驱动的意图识别与并行检索架构、从 GraphRAG 到 LightRAG 的检索演进,以及评测体系的闭环建设。


背景与问题


我们团队维护着一个面向内部开发者的 AI 答疑助手,覆盖前端研发框架、开发平台、工具链、跨端组件等领域,同时深度集成了研发平台能力,支持直连平台工具查询构建、发布、监控等状态信息。

    初期版本采用经典的 Naive RAG 路线:用户问题 → 知识库向量召回 → 大模型生成。上线后很快暴露出三个核心瓶颈:对提问方式高度敏感(同义改写、口语化表达导致召回不稳定)、知识碎片化(文档切分破坏上下文,多跳推理困难)、缺乏评测闭环(优化全凭直觉,没有数据驱动的迭代机制)。

    我们的目标是构建一套从"问题理解 → 增强检索 → 综合回答 → 评测反馈"的全链路闭环。


    基础能力建设(简述)


    在进入核心内容之前,简要提一下我们完成的几项基础工作:用 XML 结构化语法为模型建立行为规范(工具调用分层优先级、禁止虚构内容、回复后自查清单);引入联网搜索作为知识库的兜底补充;将模型思考过程和工具调用进度以流式方式实时透出,让答疑过程可解释;以及设计轻量级的知识录入能力降低知识库维护门槛。这些在当前的 LLM 应用开发中已是标准实践,不再展开。


    意图识别与上下文工程:

    从"过一层模型"到"思维链驱动的并行检索"


    ▐  为什么意图识别是核心问题

    2025 年,Andrej Karpathy 公开表示他更倾向于用 Context Engineering(上下文工程) 来替代 Prompt Engineering 这个说法。Shopify CEO Tobi Lutke 的定义更为精确:"上下文工程是为任务提供所有必要上下文,使 LLM 有能力合理解决问题的艺术。"

    这个观点转变指向一个核心洞察:LLM 应用的质量瓶颈,往往不在模型本身的能力,而在你喂给它的上下文是否足够好。 模型拿到了正确的、完整的、结构化的上下文,它就能给出好答案;拿到了碎片化的、不相关的上下文,再强的模型也无能为力。

    回到我们的答疑系统。优化提示词之后,我们发现质量瓶颈已经从"生成端"转移到了"检索端"——很多时候不是模型不会答,而是它拿到的上下文就是错的或者不全的。而根源在于,系统直接拿用户的原始问题去知识库做向量检索。用户的提问方式千差万别:口语化表达("发版挂了")、同义词不匹配(用户说"灰度"而文档写"分组发布")、问题层次不清(只描述表象不触及根因)、上下文缺失(一句话提问缺少必要背景)。
    这就是一个典型的上下文工程问题:如何在用户模糊的输入和知识库精确的内容之间架起一座桥?

    ▐  现有意图识别方案的局限

    当前业界大多数 RAG 系统处理这个问题的方式是"过一层模型"——把用户的原始问题交给一个 LLM 做一次 query rewriting(查询改写),生成一个或几个优化后的查询语句,然后拿改写后的查询去检索。这种方式在简单问题上有效,但有两个本质局限。

    第一,改写是"平面"的。 它只是在语义层面对原始问题做同义替换或扩展,并没有真正理解用户问题的内在结构。比如用户问"我的小程序上线后白屏了,之前本地开发都正常",简单的 query rewriting 可能会把它改写成"小程序白屏问题排查""小程序上线后白屏原因"这类查询。但实际上这个问题包含多个维度的信息需求:本地与线上的环境差异、白屏的可能原因、渲染流程的排查步骤——这些维度之间有逻辑递进关系,而非简单并列。
    第二,检索是串行的。 改写后的查询通常仍然是串行执行,一次检索拿到一批结果,结果的多样性和覆盖面受限于单次检索的能力上限。

    ▐  我们的方案:CoT 驱动的查询分解与并行召回

    我们设计的意图识别不是简单的"过一层模型",而是一个基于思维链(Chain of Thought)的多步查询分解与并行检索架构。整个流程如下:

    第一步,识别用户意图。 用一个轻量快速的模型(我们使用 qwen-turbo-latest,选择它的原因是这一步需要极低延迟,而意图识别本身不需要强推理能力)接收用户的原始问题,识别出核心意图——用户到底想解决什么问题。
    第二步,生成思维过程。 这是关键的创新点。模型不是直接输出改写后的查询,而是先给出解决这个问题的思维过程(步骤)。比如面对"小程序上线后白屏"这个问题,模型会推理出解决这个问题大致需要经过这些步骤:首先排查线上环境与本地的差异(构建配置、CDN、域名白名单等)→ 其次检查渲染链路可能的断点(JS 加载失败、WebView 版本兼容性等)→ 最后确认监控和日志中有没有相关报错信息。
    第三步,基于思维过程生成多组查询。 根据上一步推理出的每个步骤,分别生成对应的知识库查询关键词组。每个步骤可能产出多条查询——比如"排查线上环境差异"这个步骤会生成"小程序构建配置差异""CDN 资源加载失败""域名白名单配置"等查询;"检查渲染链路断点"这个步骤会生成"WebView 白屏排查""JS 资源加载异常""容器渲染异常"等查询。
    第四步,并行执行知识库召回。 所有查询组并行发送到知识库执行向量检索,结果汇总去重后,作为完整的上下文交给最终的答疑模型(LLM)生成回答。

    这个架构的核心区别在于两点。第一,它引入了"思维链"作为查询分解的骨架——不是随机地扩展关键词,而是沿着"解决问题的逻辑步骤"来组织检索,使得召回的知识天然具有逻辑递进关系,模型在生成答案时能拿到一个完整的"解题思路"而非一堆零散片段。第二,多组查询并行执行,大幅提升了召回的覆盖面和效率——传统的串行查询改写可能产出 2-3 条查询,而我们的方案可以一次性产出十几条覆盖不同维度的查询,并行执行后的召回率远高于单次检索。

    ▐  与上下文工程的深层关联

    用上下文工程的视角重新审视这个架构,它实际上是在做一件事:在用户提问和 LLM 生成之间,动态构建最优的上下文。
    传统 RAG 的上下文构建是"被动"的——用户问什么就检索什么,检索到什么就塞什么,上下文的质量完全取决于用户提问的质量和向量检索的运气。而我们的方案是"主动"的——系统先理解问题的结构,规划出需要哪些维度的信息,然后有目的地去检索和组装。

    Karpathy 说的"上下文工程"的核心就在这里:不是在写更好的提示词,而是在为 LLM 精心策划它在推理时需要看到的一切信息。 我们的意图识别 + 并行检索架构,本质上就是一个面向答疑场景的上下文工程实现——用 CoT 规划上下文的结构,用并行检索填充上下文的内容,确保最终交给模型的上下文既完整又有条理。

    ▐  效果对比

    下面是两组实际案例的对比。第一组是直接用原始问题检索后的回答效果——可以看到回答虽然沾边,但缺少关键步骤,且存在泛泛而谈的问题。第二组是经过 CoT 意图识别和并行召回后的效果。

    未使用意图识别前
    使用意图识别后

    传统 RAG 的结构性困境


    意图识别解决了"用什么去检索"的问题,大幅提升了召回的准确率和覆盖面。但它无法解决检索架构本身的结构性局限——即便查询再精准,如果知识库中的内容本身是碎片化的、缺乏关联的,召回结果的质量仍然有天花板。

    这就引出了我们探索的第二个核心方向:从 GraphRAG 到 LightRAG 的检索架构演进。
    传统向量 RAG 的核心流程是:文档切块 → 向量化存储 → 查询时做 embedding 相似度匹配 → 将匹配到的 chunk 拼接后交给模型。即便有了我们的意图识别做查询增强,这个流程本身仍有三个结构性的局限。

    第一,上下文在切块时被物理性地切断了。 一篇文档讲述了从"配置 → 构建 → 部署"的完整流程,切成 chunk 后每一块都只包含其中一个步骤的片段。用户问"我配置好了但部署失败了怎么办",系统可能只召回了"部署"相关的 chunk,而缺少"配置"部分的前置信息,导致模型给出的排查建议不完整。
    第二,无法进行跨文档的关联推理。 当用户的问题需要综合多篇文档的信息才能回答时——比如"A 组件和 B 组件在事件通信机制上有什么区别"——传统 RAG 只能分别找到 A 和 B 的相关片段,但无法将它们的关系显式地关联起来。模型只能基于拼接在一起的独立片段"猜测"关联,质量高度不稳定。
    第三,知识以"碎片"而非"结构"的形态存在。 在传统 RAG 中,同一个技术概念可能出现在十几篇文档中,但系统并不知道这些描述指向的是同一个实体。每次检索都是在一个"扁平"的向量空间中做近似匹配,无法利用知识之间的结构化关系。
    这些问题存在于检索架构层面,需要在知识的表示和组织方式上做出结构性改变。

    GraphRAG:用知识图谱重构检索


    ▐  核心思路

    GraphRAG 是微软在 2024 年提出的方法[1],核心思路可以用一句话概括:在 RAG 流程中引入知识图谱,将"基于文本片段的平…
    — 以上为试看内容(约 40%),开通会员后阅读全文 —