企业知识库:模块化架构 + 实验驱动 + 数据闭环
引言
本文将介绍企业知识库的「分层知识构建」与「快速PoC」的方法论。
一、核心架构:企业知识构建的四层模型
企业知识构建可以抽象为一个清晰的四层流水线:
1.1 数据源层
涵盖企业内部的各类文档:技术手册、业务流程、政策制度、客服记录、数据库快照等。
1.2 数据解析层(也可以是Agentic化处理层)
解析层负责文档的读取、解析和理解。可以是RAG检索器+LLM的组合,也可以是专用的信息抽取智能体。
1.3 精炼知识层
将原始文档转化为多种结构化知识形态,这是整个系统的核心价值所在。
1.4 存储层
根据知识类型特点,采用异构存储策略:图数据库、关系数据库、向量数据库等。
二、精炼知识的六大核心形态
从原始文档到可用知识的转化,需要产出以下六种关键形态:
2.1 QA-Pair(问答对)
特点:自然语言形式的问题-答案配对
应用场景:FAQ系统、客服机器人、检索增强问答
质量要求:
问题要口语化,覆盖真实用户提问方式 答案要准确、完整,包含必要上下文 需考虑一问多答、多问一答的情况
示例:
Q: 员工年假可以累积到下一年吗?
A: 根据《员工福利手册》第3章,当年未使用的年假可结转至次年第一季度使用,但必须在3月31日前休完,逾期自动清零。
2.2 SPO-Triple(主谓宾三元组)
特点:严格的<主语, 谓词, 宾语>结构
应用场景:知识图谱构建、关系推理、可视化分析
质量要求:
实体必须规范化(统一不同表述) 关系类型需标准化(建立关系词表) 适合存储在图数据库(如Neo4j)
示例:
<公司A, 合作伙伴, 公司B>
<张三, 任职于, 技术部>
<产品X, 依赖, 服务Y>
2.3 Multi-turn Dialog(多轮对话)
特点:保留上下文逻辑的对话序列
应用场景:对话模型训练、智能客服、交互体验测试
质量要求:
上下文连贯,意图递进自然 包含角色标签(用户/系统) 覆盖多种对话模式(澄清、追问、切换话题)
示例:
用户: 我想申请年假
系统: 请问您计划休假的时间段是?
用户: 下个月15-20号
系统: 您当前年假余额为8天,申请5天后剩余3天。是否确认提交?
用户: 确认
系统: 已成功提交,请在OA系统中等待主管审批。
2.4 Summary(摘要)
特点:全局压缩的信息概括
应用场景:长文档预览、快速浏览、层级检索
质量要求:
突出核心信息,舍弃细节 长度可分级(100字/300字/500字) 保留关键实体和关键结论
2.5 Entities & Relations(实体关系)
特点:比SPO更细粒度的原材料
应用场景:信息抽取中间产物、后续归一化处理
与SPO的区别:
工程建议:先抽取E&R → 合并归一 → 生成SPO
2.6 Embeddings(向量表示)
特点:文本的数值化向量编码
应用场景:语义检索、相似度计算、聚类分析
技术选型:
通用场景:sentence-BERT、BGE系列 领域定制:可基于精炼数据微调embedding模型 存储:Milvus、Pinecone、Qdrant等向量数据库
三、存储方案:异构数据库的最佳实践
不同知识形态需要匹配不同的存储引擎:
混合使用建议:
图谱关系 → Neo4j 业务数据 → MySQL 向量检索 → Milvus(同时存储原始文本) 日志归档 → SQLite/MongoDB
四、工程化落地:模块化与并行处理
4.1 为什么需要模块化设计?
虽然可以用一个LLM通过不同prompt产出多种知识形态,但从工程化角度,强烈建议为每个输出维度设计独立模块: