Harness Engineering 实践:LLM Wiki 什么时候、怎么引入?
LLM Wiki 的作用是什么?什么时候开始引入?
最近想单独写 LLM Wiki,是因为看到旁边团队一上来就准备直接引入 LLM Wiki。
问题不在于 LLM Wiki 不好,而在于他们的基础知识建设还没落地。产品规划、需求设计、技术方案、接口约束、测试用例、测试执行、评审记录、发布记录、运行约束都还没有形成稳定事实源,就准备把 LLM Wiki 放到产研知识体系的入口位置。
这事看起来先进,但风险不小。
如果底层知识不可信,LLM Wiki 很容易把“混乱”包装成“智能”。回答很流畅,页面很完整,但事实可能还是散的、旧的、没人负责的。
我个人的实践观点:
和产品交付直接相关的核心知识,应该优先进入 Git 知识底座;LLM Wiki 是这个场景的补充阅读层。在其他非核心、弱约束、探索型知识场景里,LLM Wiki 可以承担更多主力工作。
这里说的“研发团队”,不是只写代码的开发团队,而是完整的产研交付团队:产品、设计、开发、测试、运维。因为真实的软件质量,不是代码一个环节决定的。
产品定义会影响代码,测试结论会影响发布,运行约束会反向影响设计。只要这些知识和产品交付强相关,就不能只放在一个会总结、会问答的 Wiki 里。
一、LLM Wiki 到底是什么
LLM Wiki 不是传统 Wiki。
它通常把代码仓库、产品文档、设计文档、测试资产、Issue、PR、发布记录、Runbook 等资料接入后,通过模型完成索引、摘要、结构化、语义检索和自然语言问答。
它最有价值的地方,不是“保存知识”,而是“读懂已有知识”。
比如新人接手一个订单模块,LLM Wiki 可以帮助他快速理解业务场景、模块边界、相关接口、测试关注点和历史风险。产品同学可以问某个能力是否已有类似设计,测试同学可以问某个异常场景过去是否覆盖过,Agent 可以用它快速定位背景材料。
但边界也要说清楚:
LLM Wiki 不适合替代产品评审、需求澄清、架构决策、测试设计、代码 Review 和发布审批。
LLM Wiki 擅长解释,不擅长负责。
负责这件事,仍然要回到团队的产研流程和事实源。
二、哪些知识应该进 Git,哪些适合交给 LLM Wiki
讨论 LLM Wiki 之前,先要把知识分层。
我会把产研知识粗略分成三类。
第一类,是和产品交付直接相关的核心知识。
包括正式 PRD、验收标准、技术方案、ADR、API contract、数据模型、核心测试用例、自动化用例索引、测试执行结论、发布记录、Runbook、traceability。
这类知识一旦和代码不一致,就会影响交付质量。它应该优先进入 Git 或同等可版本化、可审计、可追溯的事实源。
原因很简单:Git 离代码近,天然有版本、差异、分支、Review、回滚和审计。产品定义变了,代码要跟着变;接口变了,测试要跟着变;Runbook 变了,发布和运维动作要跟着变。这些变化最好在同一条变更链路里被看见。
第二类,是过程态知识。
比如 PRD 草稿、方案讨论、测试计划草稿、评审意见、缺陷分析、待确认问题。这类知识可以先放在 change-requests/CR-* 里(我这里用的CR,其他团队可能用的issue、task之类的,不碍事),跟着一次变更走。等评审通过、代码合并、测试完成,再把稳定部分写回 specs/、delivery/ 或 constraints/。
LLM Wiki 可以读取它们,但必须知道它们是过程态,不能默认当成最终事实。
第三类,是探索型和横向知识。
比如早期产品脑暴、客户访谈、竞品观察、会议纪要、市场材料、团队经验贴、临时调研。这类知识不一定要全部进 Git。它们更适合放在协作文档工具里,再由 LLM Wiki 做检索、摘要和问答。
也就是说,LLM Wiki 的适配范围要收缩:
产品交付强相关:Git 是主事实源,…