构建 AI 时代的知识底座:直播数据 LLM Wiki 实践

阿里妹导读


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

一、为什么要知识库

领域知识决定了 AI 在业务中能发挥多大的价值和作用。任何 AI 系统都由模型、知识、架构三部分组成。模型由供应商提供,只能被动接受;架构常因模型能力升级而失效重做。相比之下,领域知识只能从内部积累——不可替代,且随业务演进而持续变化,是最值得长期投入的部分。

然而,领域知识的沉淀面临诸多挑战,在数据团队中尤为严重。知识散落在代码和注释、配置、钉钉文档、沟通记录等各处,没有统一载体,这带来两层后果:

  • 知识质量退化:传播靠口口相传,人走知识就断;口径不一致,同一指标在不同文档里定义矛盾,没人能仲裁;即便有人写了文档也无人持续维护,三个月后就和线上对不上。

  • 工程熵增:缺乏全局视图,团队无法判断一张表是否已经存在、一条链路是否已有人建过,重复建设不断累积数据负债。

数据团队中如口径答疑、问题排查、代码生成这些本可以被 AI 极大提效的场景,都卡在了"知识喂不进去"这一步。

直接套 RAG 解决不了这件事。RAG 的模式是每次查询都到原始文档碎片里现找现拼——chunk 召回、上下文拼接、模型生成——但它并不改变原始材料本身的状态。散落的还是散落的,矛盾的还是矛盾的,过期的还是过期的,只是多了一层向量索引。知识本身的问题一个没解决,只是把"人找不到"变成了"AI找到了但答不准"。

问题出在知识本身,不在检索。需要的是在检索之前加一道"编译过程"——把散落、矛盾、易腐化的源材料,预先加工为可被AI直接消费的知识。这是 LLM Wiki 的起点。

二、实际效果

先来看看实际效果,下面从指标维度召回、SQL代码生成以及数据模型迭代4个例子来介绍LLM Wiki的检索生成效果。

2.1 指标和维度召回

2.1.1 主播xxx分维度召回

以"主播xxx分用哪张表"为例,系统首先通过 index.md 定位到 basic/审核打标域,然后全域搜索召回候选表,再逐张读取详情页判断覆盖度和相关性。最终精准推荐xxx分维表作为首选,同时区分出 DWD 增量明细表(适合追溯变更历史)和主播画像宽表(适合同时需要xxx分和其他属性时),并主动排除了名称相似但实际是"讲解xxx分"的干扰项。

2.1.2 xxx交易指标召回

用户问"xxx交易指标怎么取",系统经域推断 → 多路搜索 → 详情验证三步,精准推荐 DIM 层标签表(直接有xxx字段)和 DWD 层明细表(xxx标记字段可自行聚合),并附带判定逻辑、SQL 示例和血缘链路,一次查询给出从选表到取数的完整答案。

2.2 SQL代码生成

用户问"不同主播等级的开播场次数怎么算",系统自动跨维表域和供给开播域,定位到主播基础信息宽表(主播等级)+ 主播标签预聚合表(预聚合多窗口场次数)或主播开播日汇总表(按天累加自定义范围),输出 JOIN 关联的 SQL 骨架,同时标注废弃字段、xx开播口径和多套分级体系的差异——从自然语言到可执行 SQL,一步到位。

2.3 数据模型迭代

2.3.1 背景

数据模型迭代是数仓日常工作中高频且高风险的场景。一次迭代往往涉及:

  • 上下游传播:变更沿血缘链路传导,影响可达数十张下游表

  • 阈值/规则联动:字段参与 WHERE 条件、CASE WHEN 分档,改错会导致业务判定失效

  • 口径一致性:新旧口径差异可能引入数据偏差,需双跑验证

需求理解 → 查表结构 → 查血缘 → 判影响 → 估风险 → 写SQL → 验数据   ↓        ↓         ↓      ↓        ↓      ↓       ↓人工耗时   grep搜索  手动递归  看代码   凭经验   逐表改写  手写SQL

传统做法依赖人工逐表排查 SQL 代码,耗时易出错,迫切需要一种新范式,让 AI 承担"查血缘、判风险、写代码"的机械工作,将人力聚焦在"决策确认"环节。

2.3.2 基于LLM wiki的数据模型迭代

基于LLM wiki知识库,把迭代需求拆解成6个步骤,按顺序调用对应的子Skill执行,关键节点用户确认。

步骤

做什么

输入→输出

需求拆解

理解需求,识别需求类型

需求描述 → 需求类型 + 指标口径

知识库召回

从Wiki查目标表,拉取DDL和口径定义

表名 → 表结构 + 口径说明

血缘查询

用graph.json查全链路下游,强制完整性校验

目标表 → 下游表完整列表

风险评级

看下游SQL,判断业务影响(高/中/低)+ 风险类型

下游表 → 二维风险矩阵

SQL生成

批量生成DDL+ETL+验证SQL+回滚SQL

影响分析 → 全套SQL文件

报告输出

整合分析结果,生成影响分析报告

全流程结果 → 可交付报告

2.3.3 具体实践场景

场景一:数据源切换(data_source_switch)

需求:xxx数据从加权计算切换到大盘数据源

流程:

  • Step 1:确认切换含义(直接引用 vs 重新计算)

  • Step 3:查全链路下游血缘,发现 12 张间接下游表

  • Step 4 路径A:看下游 SQL,发现阈值判定→ 业务影响=高

  • Step 5:生成目标表改造 SQL + 12 张下游表适配 SQL + 口径对比 SQL

关键发现:间接下游表中有 3 张参与准入判定,切换后阈值需调整


场景二:新增字段(addition)

需求:xxx数据链路新增"xxx分"等字段

流程:

  • Step 1:确认指标一一映射

  • Step 4 路径B:列出 ** 张候选下游表,用户确认传播范围(选中 * 张)

  • Step 5:逐表判断血缘 JOIN 状态 → 生成 * 张下游表适配 SQL

关键机制:路径B 强制用户确认,避免遗漏或过度传播


2.3.4 最终效果

事项

传统人工

AI 编排

提效

血缘查询时间

30min(手动递归)

2min(--impact)

15×

下游表遗漏率

20%(间接下游易遗漏)

0%(强制完整性校验)

100%

SQL 生成时间

0.5天(逐表改写)

10min(批量生成)

72×

风险判定一致性

低(凭经验)

高(二维矩阵标准化)

质变


2.3.5 总结

通过 model-iteration-analysis 编排架构:

  • 全流程自动化:从需求输入到 SQL 输出,人工只做"三道确认"

  • 血缘完整性保障:下游详情补全,杜绝遗漏

  • 风险量化评级:二维矩阵替代模糊描述,判定标准一致

  • 状态可追溯:单一状态文件记录完整分析链路

最终效果:模型迭代影响分析从半天缩短到小时级,下游表遗漏率从 20%降到 0%,数据研发工程师从"查代码、写 SQL"的机械工作中解放,聚焦在"决策确认"的高价值环节。

三、LLM 编译器:怎么建

3.1 核心思想

LLM Wiki 不是一份"用 LLM 写出来的文档",而是一份结构化、有约束、可验证的知识资产。它和传统文档的区别在四个层面:

  • 结构可解析——单页内部结构。每个页面是 frontmatter + 正文的双层结构,frontmatter 是脚本可解析的 YAML,承载关系字段(type、domain、upstream、computed_by 等),正文承载语义描述。脚本可直接读取关系信息,不必依赖 LLM 反复解析正文。

  • 层级可下钻——跨页层级结构。域按业务主题嵌套组织,形成可逐层下钻的树。Agent 检索时可从根域渐进披露,避免一次性灌入全部上下文。

  • 关系可遍历——跨页关系结构。页面之间的血缘、归属、消费、引用关系以边的形式显式记录,构成有向图。脚本可遍历、可计算影响范围、可做多跳召回。

  • 正确性可度量——分结构、语义、人工三层校验。结构层用机械规则做自动化约束;语义层用 LLM 评审页面内容(描述准确性、口径一致性、域归属合理性);关键节点由人工确认兜底。三层叠加,知识库正确性从主观判断转为可度量的工程指标。

让 LLM 来建,不是让人来建。人工维护 Wiki 的核心问题是成本高、腐化快、难持续。LLM 作为编译器,把散落的源材料(DDL、任务代码、文档、接口配置)编译成结构化页面,人只在关键节点做确认。

整体构建过程可以抽象为六个步骤:提取 → 生成 → 归类 → 聚合 → 链接 → 验证——对应编译器的词法分析、代码生成、作用域解析、IR 构建、链接、静态分析,本质是一条将散落源材料编译为结构化知识的流水线。

3.2 LLM Wiki 与 RAG:互补而非冲突

一个常见的疑问是:有了 LLM Wiki 是否还需要 RAG?需要,但两者定位完全不同。

可以用"编译时 vs 运行时"来理解。LLM Wiki 是编译时产物,把原始材料预处理成高质量的知识页面;RAG 是运行时手段,在查询时刻做精准召回。

Wiki 在构建阶段把散落材料固化为完整语义单元——血缘关系显式记录、口径以代码为准做仲裁、层级结构支持渐进式披露、每个页面自带 frontmatter 元数据。RAG 在查询时刻基于这些页面做精准召回:frontmatter 用于硬过滤(按层级、域、血缘),正文用于语义匹配,Wiki 尚未覆盖的长尾知识仍可回退到原始材料检索。

一句话:Wiki 提供高质量语料,RAG 提供精准召回,组合起来才是完整的检索栈。

3.3 知识来源要全

Wiki 编译的目标是让 AI 能回答业务问题,而一个业务问题往往跨越多种知识载体:表定义结构、接口定义契约、看板定义消费场景、文档承载业务背景。材料缺一类,编译出的 Wiki 就有相应的盲区——只有 DDL 没有任务代码,AI 知道字段叫什么但不知道怎么算;有表没有看板,AI 知道数据存在哪但不知道谁在用。材料的完整度直接决定了 Wiki 能回答的问题边界。

因此知识来源需要从广度和深度两个维度保障:

  • 广度:分为编译时知识和运行时知识,两类知识各司其职,编译时知识提供"是什么、怎么算、怎么连",运行时知识提供"现在长什么样"。

    • 编译时知识:将相对稳定的知识在构建阶段固化为 Wiki 页面,覆盖 5 类载体——表(DDL)、接口(Config + Version)、文档(钉钉文档)、任务(独立任务代码)、看板(看板元数据)。

    • 运行时知识:对查询那一刻才能确定的信息(物理表数据、任务日志、监控指标等)通过 Agent 工具调用现取,不进 Wiki。

  • 深度:每张表不止抓 DDL,还要抓产出任务代码。DDL 提供结构信息(字段、类型、注释),任务代码提供逻辑信息(计算方式、过滤条件、聚合维度、上游依赖)。只有 DDL 的 Wiki 仅是骨架,加上任务代码才构成完整的知识。

3.4 知识构建要准

"准"是 Wiki 编译的核心挑战。源材料本身就带噪音——注释长期未更新、文档写错口径、不同来源对同一对象的描述相互矛盾;LLM 生成时存在幻觉,容易把不确定的推断写成确定的事实;像域归属、指标聚类这类判断本身就有一定主观性。仅凭"我们要保证准确"这句口号无法解决,需要一整套覆盖事前、事中、事后的工程纪律:

  • 噪音过滤:分入口和生成两道。入口阶段做粗筛,从源头剔除明显过期、低质量的材料,降低后续编译需要处理的冲突量。生成阶段做细筛,由 LLM 在写 Wiki 时识别并跳过任务代码里的调试残留、文档里的过期片段,不让噪音进入页面正文。

  • 代码即真相:剩下的冲突需要明确的裁决规则。不同来源对同一对象描述不一致时,以任务代码为权威——注释和文档可能长期失修,但任务代码每天实际跑在生产上,代表系统当下的真实行为。这条规则把所有"以谁为准"的争议收敛到唯一答案。

  • 生成与判断分离:LLM 在生成基础 Wiki 时,需要推断的字段强制留空,只写有源材料直接支撑的内容,不允许在生成阶段做主观推断。等所有基础页面生成完,再独立跑一轮判断阶段,基于已写入的内容综合输出候选。判断结果同时经过两道门禁:机械门禁覆盖结构、链接、格式等可机械检查的维度,未通过则阻断发布;人工门禁覆盖域归属、聚类归并这类有主观性的判断,由用户确认。代价是多一轮处理,收益是把"生成"和"判断"两类容易出错的动作彻底解耦。

  • 证据链可追溯:每个页面在 frontmatter 中保留 sources 字段,逐项指向具体的源材料(原始 DDL、任务代码、文档片段)。一旦某条信息被怀疑有误,可以立即定位到原材料;用户校验 AI 答案时,也可沿证据链反查依据。可溯源是事后兜底,也是 Wiki 与"凭印象写文档"最根本的区别。

3.5 知识的骨架是关系

单页内容解决"一张表是什么",但业务问题往往不是关于一张表——"改了这张表影响哪些下游""这个指标是从哪些表算出来的""这个域下有多少资产"——都是关系层面的问题。如果关系只隐含在正文段落里,每次回答都需要 LLM 重新从文本中抽取,既不稳定也不高效。

因此我们需要把关系从正文中抽出来,显式存储为图:血缘、归属、消费、引用等语义落到 frontmatter 字段,再由构建流水线统一扫描提取,沉淀为全局关系图。每条边都是结构化的、可遍历的、可计算的。

显式建图带来三个能力维度:

  • 影响范围可计算:修改一张表后,沿图向下游遍历即可得到完整影响面,不依赖人工记忆。

  • 归属关系可聚合:任何一个域包含哪些表、接口、看板,一次查询完成,支撑全景感知。

  • 枢纽节点可识别:按引用频次(入度)排序,可以快速发现数仓中的公共依赖和关键路径。

关系图同时也是多路召回的基础——检索命中图上任何一个节点后,可以沿边扩展关联节点,召回关键词未命中但血缘强相关的知识。

3.6 为检索而组织

知识的构建和组织不是独立环节,而是为检索服务的。怎么生成页面、怎么划分层级、怎么记录关系,最终都要回答一个问题:AI 在有限的上下文里能否快速找到最相关的知识。围绕这个目标,层级结构和关系图分别承担不同的职责:

  • 知识聚合:把大量Wiki页面按主题进行聚合——字段聚合为指标和维度,表、接口、看板聚合为域,域按业务主题嵌套组织。聚合后,检索面从数百个分散页面收敛到少数几个域入口,AI 和人都能快速定位到目标区域。

  • 渐进式披露:Agent 上下文有限,不可能一次加载全部知识。层级结构天然支持逐层下钻:从全景概览定位相关域,从域定位关键页面,从页面获取字段和逻辑细节。每一层按需加载,在上下文预算内尽可能传递最相关的信息。

  • 多路召回:聚合和渐进式披露解决的是纵向定位——从全局逐层收敛到目标页面。但业务问题往往涉及横向关联:一张表的上游、一个指标的计算依赖、一个域下的全部资产。关系图在这里提供了第二条检索路径——命中一个节点后,沿边扩展到血缘相关但关键词未命中的知识,覆盖单靠文本相似度无法触达的关联页面。

三者配合:聚合解决信息爆炸,渐进式披露解决上下文有限,多路召回解决召回不全——这是知识库能服务 AI 检索的三个工程支点。

四、架构设计

Wiki 系统以文件为底座,但在功能上构成了一个完整的知识管理系统。其中存储层(多级文件系统)、知识模型层(Schema)、计算层(Agent 编排)是三层主干,后续章节描述的构建、检索、增量、Lint 等流程都基于这三层运行。

其架构可以与数据库系统做如下类比:

数据库系统

Wiki 系统

对应关系

存储引擎

多级文件系统

知识的物理组织和生命周期管理

索引

图索引 + 树索引

加速检索的辅助结构

DDL(建表)

Schema 定义

定义知识结构和约束

写表(INSERT/UPDATE)

Wiki 生成

按 Schema 写入结构化页面

查询(SELECT)

Wiki 检索

按索引和条件读取知识

约束检查

健康检查 + 验证机制

保证数据一致性和正确性

事务可恢复性

断点续传 + 增量构建

中断后幂等重跑,已有正确产物跳过,只补未完成部分

执行引擎

Agent 编排

调度计算任务,管理并行与串行

4.1 多级文件系统

知识库的生命周期跨越多个阶段:清单维护、材料抓取、Wiki 生成、关系图构建、健康检查。每个阶段产出的物料形态不同——清单是输入、原始材料是中间态、Wiki 是最终产出,需要分目录隔离,避免互相污染。多级文件系统的本质是把不同生命周期的物料放进不同目录,由目录承担状态语义。

知识库根目录由环境变量 KB_ROOT 指定,目录结构如下:

${KB_ROOT}/├── pre/                   # 待处理清单 + 临时下载产物(验证后移入 raw/)├── raw/│   ├── ready/             # 完整可用,直接进入 Wiki 生成│   ├── pending/           # 存在缺失或问题,需治理后晋升 ready│   └── archive/           # 已下线或弃用,不治理也不参与生成├── wiki/│   ├── tables/{db_type}/  # 表页面,按存储类型分目录│   ├── domains/{parent}/  # 域页面,按父域分目录│   ├── concepts/          # 概念页面│   ├── metrics/           # 指标页面│   ├── dimensions/        # 维度页面│   ├── dashboards/        # 看板页面│   ├── apis/              # 接口页面│   ├── datasets/          # 数据集页面│   ├── graph.json         # 全局关系图│   ├── index.md           # 全局索引│   └── overview.md        # 全景概览├── log/                   # 构建日志、域候选、健康检查报告├── tmp/                   # 跨 skill 协作的中间状态└── schema/                # 页面模板(5 个,定义 frontmatter 与正文契约)

按职能可以分两…

— 以上为试看内容(约 40%),开通会员后阅读全文 —