从工单、文档到结构化知识库:一套可复用的 Agent 知识采集方案


我们构建了一套“自动提取 → 智能泛化 → 增量更新 → 向量化同步”的全链路自动化 pipeline,将 Agent 知识库建设中的收集、提质与维护难题转化为简单易用的 Python 工具,让知识高效、持续、低门槛地赋能智能体。


一、项目概述

定位:知识刮削助手旨在补齐知识从原始位置(工单/文档)到向量知识库之间的自动化链路的空缺。

核心能力:📥 多源接入 → 🤖 智能提取 → 🔄 知识泛化 → 💾 增量/全量更新 → 🔍 向量化同步

  • 多源接入:支持钉钉文档、工单、缺陷、SQL代码等主流平台;

  • 智能提取:基于 LLM 自动阅读内容并提取结构化知识;

  • 知识泛化:将单条 Q&A 扩展为多种提问方式,提升召回率;

适用场景

二、核心价值

2.1传统方案的困境

在大部分 Agent 项目里,一个绕不过去的问题是:知识从哪里来、怎么持续更新。

在日常工作中,大量有价值的知识分散存储在工单系统、文档库、甚至SQL代码等各个平台的各个角落。但 Agent 需要的是一份「结构化、可向量化、可持续维护」的知识库,因此当我们需要构建 Agent 知识库时,这些知识的收集、整理和维护成为了巨大的挑战。

传统做法存在两种路径,但都有明显缺陷:

路径一:人工精细化处理

优势:质量可控,准确性高;问题:耗时耗力,需要定期人工维护更新。

路径二:批量直接导入

问题:切分不准确,知识未泛化,RAG 效果差。

2.2 核心痛点

知识收集困难

  • 分散存储:知识分布在多个平台(工单、文档等),人工收集效率极低。

  • 格式不统一:缺乏统一 标准,不同人提取的内容格式不一致,难以结构化管理。

RAG 召回质量差

  • 切分不准:原始文档直接导入,非智能分段导致切分不准确。

  • 覆盖不全:单一 Q&A 格式无法覆盖用户多样化的提问方式,换一种问法就检索不到知识。

维护成本高昂

  • 人工维护:需要专人定期检查更新,响应滞后。

  • 易遗漏:人工操作易遗漏,无法实现实时同步。

2.3 本方案的优势

一句话总结:跟传统方案相比,本方案完全取代了人工;与文档直接导入知识库对比,本方案可以像人一样,更智能地梳理。

2.4 为什么做这个?

为了弥补知识从原始存储位置(工单/文档等)到AI应用开发平台向量知识库之间的自动化链路空缺,节省梳理知识这种重复性工作的繁重压力,让大家可以聚焦于高价值工作,我设计了这套端到端的自动化方案,并将其封装为 Python 包,确保即使是非技术同学也能开箱即用。

三、设计理念

传统的人工知识提取流程通常包含以下步骤:

打开工单空间 → 筛选出未处理过的新工单 → 逐条打开工单 → 阅读内容 → 提取知识 → 借助AI泛化知识 → 写入 ODPS 表/文档 → 传入Agent平台的知识库

要让 AI 自动化完成这一流程,我们采用了拟人化设计思路,工作流部分是"教会 AI 干活",Python 包部分是"给 AI 派活"。

3.1 教会 AI 干活:给数字员工装上眼、脑和手

如果把 AI 当成一名“数字员工”,要让 TA 真正能上岗干活,至少要配齐三种能力:

用一句话概括:AI 的眼负责“读数据”,脑负责“想清楚”,手负责“做结果落地”。

教会这三件事,AI 已经具备了“岗位能力”,能够作为一名可调度的数字员工参与到工作流程中。

3.2给AI派活:把调度系统当成“数字班长”

具备能力还不够,TA 还需要知道:

“今天要干什么?从哪里开始?做到什么时候算收工?”

这就需要一个“数字班长”——也就是AI 任务调度系统:

  • 每天定时派活:按天 / 小时调度任务,每次告诉AI工作的要求和内容;

  • AI 负责按工单 / 文档逐条处理;

  • 调度统一收工:所有结果写入 ODPS,并同步到Agent平台知识库;

这种模式,其实就是在构建一个通用的"AI 任务调度"思想:人类只需要设计"班次"和规则,AI 数字员工每天按计划自动干活并汇报结果。

四、方案与架构

基于上述设计思路,我们构建了端到端的自动化链路::

所有流程均已封装进工作流及 Python 包,用户只需配置参数即可一键运行,无需关心底层实现细节。

4.1 全自动化Python包+工作流:

为了实现完全自动化,把部分逻辑写在了Python里面,PyODPS节点负责读取文档列表、剔除已处理文档、最终知识写入ODPS。

文档获取 → 增量识别 → AI 智能提取 → 知识泛化 → 写入数据表 → 自动向量化更新

适用场景:需要定期自动更新知识库的长期项目

PyODPS:PyODPS 是 MaxCompute(原ODPS)的 Python SDK,允许通过 Python 代码操作云端数据仓库。对于非阿里云用户可替换为其他数据仓库的 Python SDK(如SPARK),核心逻辑相同。

4.2半自动化纯工作流:

为了轻量或者单次实现,还可以把循环做到工作流里面,一次性批量处理100篇文档。

手动梳理待处理文档列表 → 循环处理文档 → AI 提取 → 批量写入/汇总输出

适用场景:一次性知识导入或轻量级处理需求。

4.3数据流转示意

五、功能特性

5.1核心功能列表

5.2 知识泛化效果对比

文档类:

泛化前

Q: 支付买家数的定义A: 拍下并成功支付的买家去重人数,包含退款买家数

泛化后

{  "questi…
— 以上为试看内容(约 40%),开通会员后阅读全文 —