构建 AI 时代的知识底座:直播数据 LLM Wiki 实践
阿里妹导读
文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。
一、为什么要知识库
领域知识决定了 AI 在业务中能发挥多大的价值和作用。任何 AI 系统都由模型、知识、架构三部分组成。模型由供应商提供,只能被动接受;架构常因模型能力升级而失效重做。相比之下,领域知识只能从内部积累——不可替代,且随业务演进而持续变化,是最值得长期投入的部分。
然而,领域知识的沉淀面临诸多挑战,在数据团队中尤为严重。知识散落在代码和注释、配置、钉钉文档、沟通记录等各处,没有统一载体,这带来两层后果:
知识质量退化:传播靠口口相传,人走知识就断;口径不一致,同一指标在不同文档里定义矛盾,没人能仲裁;即便有人写了文档也无人持续维护,三个月后就和线上对不上。
工程熵增:缺乏全局视图,团队无法判断一张表是否已经存在、一条链路是否已有人建过,重复建设不断累积数据负债。
数据团队中如口径答疑、问题排查、代码生成这些本可以被 AI 极大提效的场景,都卡在了"知识喂不进去"这一步。
直接套 RAG 解决不了这件事。RAG 的模式是每次查询都到原始文档碎片里现找现拼——chunk 召回、上下文拼接、模型生成——但它并不改变原始材料本身的状态。散落的还是散落的,矛盾的还是矛盾的,过期的还是过期的,只是多了一层向量索引。知识本身的问题一个没解决,只是把"人找不到"变成了"AI找到了但答不准"。
问题出在知识本身,不在检索。需要的是在检索之前加一道"编译过程"——把散落、矛盾、易腐化的源材料,预先加工为可被AI直接消费的知识。这是 LLM Wiki 的起点。
二、实际效果
先来看看实际效果,下面从指标维度召回、SQL代码生成以及数据模型迭代4个例子来介绍LLM Wiki的检索生成效果。
2.1 指标和维度召回
2.1.1 主播xxx分维度召回
以"主播xxx分用哪张表"为例,系统首先通过 index.md 定位到 basic/审核打标域,然后全域搜索召回候选表,再逐张读取详情页判断覆盖度和相关性。最终精准推荐xxx分维表作为首选,同时区分出 DWD 增量明细表(适合追溯变更历史)和主播画像宽表(适合同时需要xxx分和其他属性时),并主动排除了名称相似但实际是"讲解xxx分"的干扰项。
2.1.2 xxx交易指标召回
用户问"xxx交易指标怎么取",系统经域推断 → 多路搜索 → 详情验证三步,精准推荐 DIM 层标签表(直接有xxx字段)和 DWD 层明细表(xxx标记字段可自行聚合),并附带判定逻辑、SQL 示例和血缘链路,一次查询给出从选表到取数的完整答案。
2.2 SQL代码生成
用户问"不同主播等级的开播场次数怎么算",系统自动跨维表域和供给开播域,定位到主播基础信息宽表(主播等级)+ 主播标签预聚合表(预聚合多窗口场次数)或主播开播日汇总表(按天累加自定义范围),输出 JOIN 关联的 SQL 骨架,同时标注废弃字段、xx开播口径和多套分级体系的差异——从自然语言到可执行 SQL,一步到位。
2.3 数据模型迭代
2.3.1 背景
数据模型迭代是数仓日常工作中高频且高风险的场景。一次迭代往往涉及:
上下游传播:变更沿血缘链路传导,影响可达数十张下游表
阈值/规则联动:字段参与 WHERE 条件、CASE WHEN 分档,改错会导致业务判定失效
口径一致性:新旧口径差异可能引入数据偏差,需双跑验证
需求理解 → 查表结构 → 查血缘 → 判影响 → 估风险 → 写SQL → 验数据 ↓ ↓ ↓ ↓ ↓ ↓ ↓人工耗时 grep搜索 手动递归 看代码 凭经验 逐表改写 手写SQL
传统做法依赖人工逐表排查 SQL 代码,耗时易出错,迫切需要一种新范式,让 AI 承担"查血缘、判风险、写代码"的机械工作,将人力聚焦在"决策确认"环节。
2.3.2 基于LLM wiki的数据模型迭代
基于LLM wiki知识库,把迭代需求拆解成6个步骤,按顺序调用对应的子Skill执行,关键节点用户确认。
步骤 | 做什么 | 输入→输出 |
需求拆解 | 理解需求,识别需求类型 | 需求描述 → 需求类型 + 指标口径 |
知识库召回 | 从Wiki查目标表,拉取DDL和口径定义 | 表名 → 表结构 + 口径说明 |
血缘查询 | 用graph.json查全链路下游,强制完整性校验 | 目标表 → 下游表完整列表 |
风险评级 | 看下游SQL,判断业务影响(高/中/低)+ 风险类型 | 下游表 → 二维风险矩阵 |
SQL生成 | 批量生成DDL+ETL+验证SQL+回滚SQL | 影响分析 → 全套SQL文件 |
报告输出 | 整合分析结果,生成影响分析报告 | 全流程结果 → 可交付报告 |
2.3.3 具体实践场景
场景一:数据源切换(data_source_switch)
需求:xxx数据从加权计算切换到大盘数据源
流程:
Step 1:确认切换含义(直接引用 vs 重新计算)
Step 3:查全链路下游血缘,发现 12 张间接下游表
Step 4 路径A:看下游 SQL,发现阈值判定→ 业务影响=高
Step 5:生成目标表改造 SQL + 12 张下游表适配 SQL + 口径对比 SQL
关键发现:间接下游表中有 3 张参与准入判定,切换后阈值需调整
场景二:新增字段(addition)
需求:xxx数据链路新增"xxx分"等字段
流程:
Step 1:确认指标一一映射
Step 4 路径B:列出 ** 张候选下游表,用户确认传播范围(选中 * 张)
Step 5:逐表判断血缘 JOIN 状态 → 生成 * 张下游表适配 SQL
关键机制:路径B 强制用户确认,避免遗漏或过度传播
2.3.4 最终效果
事项 | 传统人工 | AI 编排 | 提效 |
血缘查询时间 | 30min(手动递归) | 2min(--impact) | 15× |
下游表遗漏率 | 20%(间接下游易遗漏) | 0%(强制完整性校验) | 100% |
SQL 生成时间 | 0.5天(逐表改写) | 10min(批量生成) | 72× |
风险判定一致性 | 低(凭经验) | 高(二维矩阵标准化) | 质变 |
2.3.5 总结
通过 model-iteration-analysis 编排架构:
全流程自动化:从需求输入到 SQL 输出,人工只做"三道确认"
血缘完整性保障:下游详情补全,杜绝遗漏
风险量化评级:二维矩阵替代模糊描述,判定标准一致
状态可追溯:单一状态文件记录完整分析链路
最终效果:模型迭代影响分析从半天缩短到小时级,下游表遗漏率从 20%降到 0%,数据研发工程师从"查代码、写 SQL"的机械工作中解放,聚焦在"决策确认"的高价值环节。
三、LLM 编译器:怎么建
3.1 核心思想
LLM Wiki 不是一份"用 LLM 写出来的文档",而是一份结构化、有约束、可验证的知识资产。它和传统文档的区别在四个层面:
结构可解析——单页内部结构。每个页面是 frontmatter + 正文的双层结构,frontmatter 是脚本可解析的 YAML,承载关系字段(type、domain、upstream、computed_by 等),正文承载语义描述。脚本可直接读取关系信息,不必依赖 LLM 反复解析正文。
层级可下钻——跨页层级结构。域按业务主题嵌套组织,形成可逐层下钻的树。Agent 检索时可从根域渐进披露,避免一次性灌入全部上下文。
关系可遍历——跨页关系结构。页面之间的血缘、归属、消费、引用关系以边的形式显式记录,构成有向图。脚本可遍历、可计算影响范围、可做多跳召回。
正确性可度量——分结构、语义、人工三层校验。结构层用机械规则做自动化约束;语义层用 LLM 评审页面内容(描述准确性、口径一致性、域归属合理性);关键节点由人工确认兜底。三层叠加,知识库正确性从主观判断转为可度量的工程指标。
让 LLM 来建,不是让人来建。人工维护 Wiki 的核心问题是成本高、腐化快、难持续。LLM 作为编译器,把散落的源材料(DDL、任务代码、文档、接口配置)编译成结构化页面,人只在关键节点做确认。
整体构建过程可以抽象为六个步骤:提取 → 生成 → 归类 → 聚合 → 链接 → 验证——对应编译器的词法分析、代码生成、作用域解析、IR 构建、链接、静态分析,本质是一条将散落源材料编译为结构化知识的流水线。
3.2 LLM Wiki 与 RAG:互补而非冲突
一个常见的疑问是:有了 LLM Wiki 是否还需要 RAG?需要,但两者定位完全不同。
可以用"编译时 vs 运行时"来理解。LLM Wiki 是编译时产物,把原始材料预处理成高质量的知识页面;RAG 是运行时手段,在查询时刻做精准召回。
Wiki 在构建阶段把散落材料固化为完整语义单元——血缘关系显式记录、口径以代码为准做仲裁、层级结构支持渐进式披露、每个页面自带 frontmatter 元数据。RAG 在查询时刻基于这些页面做精准召回:frontmatter 用于硬过滤(按层级、域、血缘),正文用于语义匹配,Wiki 尚未覆盖的长尾知识仍可回退到原始材料检索。
一句话:Wiki 提供高质量语料,RAG 提供精准召回,组合起来才是完整的检索栈。
3.3 知识来源要全
Wiki 编译的目标是让 AI 能回答业务问题,而一个业务问题往往跨越多种知识载体:表定义结构、接口定义契约、看板定义消费场景、文档承载业务背景。材料缺一类,编译出的 Wiki 就有相应的盲区——只有 DDL 没有任务代码,AI 知道字段叫什么但不知道怎么算;有表没有看板,AI 知道数据存在哪但不知道谁在用。材料的完整度直接决定了 Wiki 能回答的问题边界。
因此知识来源需要从广度和深度两个维度保障:
广度:分为编译时知识和运行时知识,两类知识各司其职,编译时知识提供"是什么、怎么算、怎么连",运行时知识提供"现在长什么样"。
编译时知识:将相对稳定的知识在构建阶段固化为 Wiki 页面,覆盖 5 类载体——表(DDL)、接口(Config + Version)、文档(钉钉文档)、任务(独立任务代码)、看板(看板元数据)。
运行时知识:对查询那一刻才能确定的信息(物理表数据、任务日志、监控指标等)通过 Agent 工具调用现取,不进 Wiki。
深度:每张表不止抓 DDL,还要抓产出任务代码。DDL 提供结构信息(字段、类型、注释),任务代码提供逻辑信息(计算方式、过滤条件、聚合维度、上游依赖)。只有 DDL 的 Wiki 仅是骨架,加上任务代码才构成完整的知识。
3.4 知识构建要准
"准"是 Wiki 编译的核心挑战。源材料本身就带噪音——注释长期未更新、文档写错口径、不同来源对同一对象的描述相互矛盾;LLM 生成时存在幻觉,容易把不确定的推断写成确定的事实;像域归属、指标聚类这类判断本身就有一定主观性。仅凭"我们要保证准确"这句口号无法解决,需要一整套覆盖事前、事中、事后的工程纪律:
噪音过滤:分入口和生成两道。入口阶段做粗筛,从源头剔除明显过期、低质量的材料,降低后续编译需要处理的冲突量。生成阶段做细筛,由 LLM 在写 Wiki 时识别并跳过任务代码里的调试残留、文档里的过期片段,不让噪音进入页面正文。
代码即真相:剩下的冲突需要明确的裁决规则。不同来源对同一对象描述不一致时,以任务代码为权威——注释和文档可能长期失修,但任务代码每天实际跑在生产上,代表系统当下的真实行为。这条规则把所有"以谁为准"的争议收敛到唯一答案。
生成与判断分离:LLM 在生成基础 Wiki 时,需要推断的字段强制留空,只写有源材料直接支撑的内容,不允许在生成阶段做主观推断。等所有基础页面生成完,再独立跑一轮判断阶段,基于已写入的内容综合输出候选。判断结果同时经过两道门禁:机械门禁覆盖结构、链接、格式等可机械检查的维度,未通过则阻断发布;人工门禁覆盖域归属、聚类归并这类有主观性的判断,由用户确认。代价是多一轮处理,收益是把"生成"和"判断"两类容易出错的动作彻底解耦。
证据链可追溯:每个页面在 frontmatter 中保留
sources字段,逐项指向具体的源材料(原始 DDL、任务代码、文档片段)。一旦某条信息被怀疑有误,可以立即定位到原材料;用户校验 AI 答案时,也可沿证据链反查依据。可溯源是事后兜底,也是 Wiki 与"凭印象写文档"最根本的区别。
3.5 知识的骨架是关系
单页内容解决"一张表是什么",但业务问题往往不是关于一张表——"改了这张表影响哪些下游""这个指标是从哪些表算出来的""这个域下有多少资产"——都是关系层面的问题。如果关系只隐含在正文段落里,每次回答都需要 LLM 重新从文本中抽取,既不稳定也不高效。
因此我们需要把关系从正文中抽出来,显式存储为图:血缘、归属、消费、引用等语义落到 frontmatter 字段,再由构建流水线统一扫描提取,沉淀为全局关系图。每条边都是结构化的、可遍历的、可计算的。
显式建图带来三个能力维度:
影响范围可计算:修改一张表后,沿图向下游遍历即可得到完整影响面,不依赖人工记忆。
归属关系可聚合:任何一个域包含哪些表、接口、看板,一次查询完成,支撑全景感知。
枢纽节点可识别:按引用频次(入度)排序,可以快速发现数仓中的公共依赖和关键路径。
关系图同时也是多路召回的基础——检索命中图上任何一个节点后,可以沿边扩展关联节点,召回关键词未命中但血缘强相关的知识。
3.6 为检索而组织
知识的构建和组织不是独立环节,而是为检索服务的。怎么生成页面、怎么划分层级、怎么记录关系,最终都要回答一个问题:AI 在有限的上下文里能否快速找到最相关的知识。围绕这个目标,层级结构和关系图分别承担不同的职责:
知识聚合:把大量Wiki页面按主题进行聚合——字段聚合为指标和维度,表、接口、看板聚合为域,域按业务主题嵌套组织。聚合后,检索面从数百个分散页面收敛到少数几个域入口,AI 和人都能快速定位到目标区域。
渐进式披露:Agent 上下文有限,不可能一次加载全部知识。层级结构天然支持逐层下钻:从全景概览定位相关域,从域定位关键页面,从页面获取字段和逻辑细节。每一层按需加载,在上下文预算内尽可能传递最相关的信息。
多路召回:聚合和渐进式披露解决的是纵向定位——从全局逐层收敛到目标页面。但业务问题往往涉及横向关联:一张表的上游、一个指标的计算依赖、一个域下的全部资产。关系图在这里提供了第二条检索路径——命中一个节点后,沿边扩展到血缘相关但关键词未命中的知识,覆盖单靠文本相似度无法触达的关联页面。
三者配合:聚合解决信息爆炸,渐进式披露解决上下文有限,多路召回解决召回不全——这是知识库能服务 AI 检索的三个工程支点。
四、架构设计
Wiki 系统以文件为底座,但在功能上构成了一个完整的知识管理系统。其中存储层(多级文件系统)、知识模型层(Schema)、计算层(Agent 编排)是三层主干,后续章节描述的构建、检索、增量、Lint 等流程都基于这三层运行。
其架构可以与数据库系统做如下类比:
数据库系统 | Wiki 系统 | 对应关系 |
存储引擎 | 多级文件系统 | 知识的物理组织和生命周期管理 |
索引 | 图索引 + 树索引 | 加速检索的辅助结构 |
DDL(建表) | Schema 定义 | 定义知识结构和约束 |
写表(INSERT/UPDATE) | Wiki 生成 | 按 Schema 写入结构化页面 |
查询(SELECT) | Wiki 检索 | 按索引和条件读取知识 |
约束检查 | 健康检查 + 验证机制 | 保证数据一致性和正确性 |
事务可恢复性 | 断点续传 + 增量构建 | 中断后幂等重跑,已有正确产物跳过,只补未完成部分 |
执行引擎 | Agent 编排 | 调度计算任务,管理并行与串行 |
4.1 多级文件系统
知识库的生命周期跨越多个阶段:清单维护、材料抓取、Wiki 生成、关系图构建、健康检查。每个阶段产出的物料形态不同——清单是输入、原始材料是中间态、Wiki 是最终产出,需要分目录隔离,避免互相污染。多级文件系统的本质是把不同生命周期的物料放进不同目录,由目录承担状态语义。
知识库根目录由环境变量 KB_ROOT 指定,目录结构如下:
${KB_ROOT}/├── pre/ # 待处理清单 + 临时下载产物(验证后移入 raw/)├── raw/│ ├── ready/ # 完整可用,直接进入 Wiki 生成│ ├── pending/ # 存在缺失或问题,需治理后晋升 ready│ └── archive/ # 已下线或弃用,不治理也不参与生成├── wiki/│ ├── tables/{db_type}/ # 表页面,按存储类型分目录│ ├── domains/{parent}/ # 域页面,按父域分目录│ ├── concepts/ # 概念页面│ ├── metrics/ # 指标页面│ ├── dimensions/ # 维度页面│ ├── dashboards/ # 看板页面│ ├── apis/ # 接口页面│ ├── datasets/ # 数据集页面│ ├── graph.json # 全局关系图│ ├── index.md # 全局索引│ └── overview.md # 全景概览├── log/ # 构建日志、域候选、健康检查报告├── tmp/ # 跨 skill 协作的中间状态└── schema/ # 页面模板(5 个,定义 frontmatter 与正文契约)
按职能可以分两…