从工单、文档到结构化知识库:一套可复用的 Agent 知识采集方案
我们构建了一套“自动提取 → 智能泛化 → 增量更新 → 向量化同步”的全链路自动化 pipeline,将 Agent 知识库建设中的收集、提质与维护难题转化为简单易用的 Python 工具,让知识高效、持续、低门槛地赋能智能体。
一、项目概述
定位:知识刮削助手旨在补齐知识从原始位置(工单/文档)到向量知识库之间的自动化链路的空缺。
核心能力:📥 多源接入 → 🤖 智能提取 → 🔄 知识泛化 → 💾 增量/全量更新 → 🔍 向量化同步
多源接入:支持钉钉文档、工单、缺陷、SQL代码等主流平台;
智能提取:基于 LLM 自动阅读内容并提取结构化知识;
知识泛化:将单条 Q&A 扩展为多种提问方式,提升召回率;
适用场景
二、核心价值
2.1传统方案的困境
在大部分 Agent 项目里,一个绕不过去的问题是:知识从哪里来、怎么持续更新。
在日常工作中,大量有价值的知识分散存储在工单系统、文档库、甚至SQL代码等各个平台的各个角落。但 Agent 需要的是一份「结构化、可向量化、可持续维护」的知识库,因此当我们需要构建 Agent 知识库时,这些知识的收集、整理和维护成为了巨大的挑战。
传统做法存在两种路径,但都有明显缺陷:
路径一:人工精细化处理
优势:质量可控,准确性高;问题:耗时耗力,需要定期人工维护更新。
路径二:批量直接导入
问题:切分不准确,知识未泛化,RAG 效果差。
2.2 核心痛点
知识收集困难
分散存储:知识分布在多个平台(工单、文档等),人工收集效率极低。
格式不统一:缺乏统一 标准,不同人提取的内容格式不一致,难以结构化管理。
RAG 召回质量差
切分不准:原始文档直接导入,非智能分段导致切分不准确。
覆盖不全:单一 Q&A 格式无法覆盖用户多样化的提问方式,换一种问法就检索不到知识。
维护成本高昂
人工维护:需要专人定期检查更新,响应滞后。
易遗漏:人工操作易遗漏,无法实现实时同步。
2.3 本方案的优势
一句话总结:跟传统方案相比,本方案完全取代了人工;与文档直接导入知识库对比,本方案可以像人一样,更智能地梳理。
2.4 为什么做这个?
为了弥补知识从原始存储位置(工单/文档等)到AI应用开发平台向量知识库之间的自动化链路空缺,节省梳理知识这种重复性工作的繁重压力,让大家可以聚焦于高价值工作,我设计了这套端到端的自动化方案,并将其封装为 Python 包,确保即使是非技术同学也能开箱即用。
三、设计理念
传统的人工知识提取流程通常包含以下步骤:
打开工单空间 → 筛选出未处理过的新工单 → 逐条打开工单 → 阅读内容 → 提取知识 → 借助AI泛化知识 → 写入 ODPS 表/文档 → 传入Agent平台的知识库
要让 AI 自动化完成这一流程,我们采用了拟人化设计思路,工作流部分是"教会 AI 干活",Python 包部分是"给 AI 派活"。
3.1 教会 AI 干活:给数字员工装上眼、脑和手
如果把 AI 当成一名“数字员工”,要让 TA 真正能上岗干活,至少要配齐三种能力:
用一句话概括:AI 的眼负责“读数据”,脑负责“想清楚”,手负责“做结果落地”。
教会这三件事,AI 已经具备了“岗位能力”,能够作为一名可调度的数字员工参与到工作流程中。
3.2给AI派活:把调度系统当成“数字班长”
具备能力还不够,TA 还需要知道:
“今天要干什么?从哪里开始?做到什么时候算收工?”
这就需要一个“数字班长”——也就是AI 任务调度系统:
每天定时派活:按天 / 小时调度任务,每次告诉AI工作的要求和内容;
AI 负责按工单 / 文档逐条处理;
调度统一收工:所有结果写入 ODPS,并同步到Agent平台知识库;
这种模式,其实就是在构建一个通用的"AI 任务调度"思想:人类只需要设计"班次"和规则,AI 数字员工每天按计划自动干活并汇报结果。
四、方案与架构
基于上述设计思路,我们构建了端到端的自动化链路::
所有流程均已封装进工作流及 Python 包,用户只需配置参数即可一键运行,无需关心底层实现细节。
4.1 全自动化Python包+工作流:
为了实现完全自动化,把部分逻辑写在了Python里面,PyODPS节点负责读取文档列表、剔除已处理文档、最终知识写入ODPS。
文档获取 → 增量识别 → AI 智能提取 → 知识泛化 → 写入数据表 → 自动向量化更新
适用场景:需要定期自动更新知识库的长期项目
PyODPS:PyODPS 是 MaxCompute(原ODPS)的 Python SDK,允许通过 Python 代码操作云端数据仓库。对于非阿里云用户可替换为其他数据仓库的 Python SDK(如SPARK),核心逻辑相同。
4.2半自动化纯工作流:
为了轻量或者单次实现,还可以把循环做到工作流里面,一次性批量处理100篇文档。
手动梳理待处理文档列表 → 循环处理文档 → AI 提取 → 批量写入/汇总输出
适用场景:一次性知识导入或轻量级处理需求。
4.3数据流转示意
五、功能特性
5.1核心功能列表
5.2 知识泛化效果对比
文档类:
泛化前
Q: 支付买家数的定义A: 拍下并成功支付的买家去重人数,包含退款买家数
泛化后
{"questi…