导读:
- 为什么企业AI落地往往不顺?
- 重新认识一下知识,不是数据,也不是文档;
- AI企业知识库不等于RAG;
- 如何将文档、数据变成知识,TorchV对SECI模型的实现介绍。
一、AI时代知识为什么很重要
今年的AI应用里,让我最惊艳的应该是Gemini的Deep Research(pro版本)和Manus了,似乎AI真的走到了自己思考和执行事项的时代,相信已经用上这些产品的朋友会有同样的感叹。
但别急,我也发现了它们的一些局限。
也许用显微镜看的时候,它们的局限会很多,比如相对来说还比较高的执行失败率,或者明明规划路径是对的,最终结果却未达预期。但对我来说,最大的差距是Deep Research在规划时不能理解企业特有的业务流程,造成很多它们给的结果明明很好,但和我的业务无关,特别是企业自身的知识无法用几句话就讲清楚的时候,再聪明的AI也无法理解企业知识。
所以你猜到了,我想说的就是在真正的企业AI应用中,没有知识库是不行的。就像你请了一个国际高级咨询师,如果人家完全没有了解公司业务和知识的情况下,给你开了三天闭门会,也许你会觉得如沐春风,然并卵。
二、什么是知识
已经讲到了知识库,那么我们首先来看看什么是知识?我们首先看看维基百科和百度百科的解释。
知识是对某个主题“认知”与“识别”的行为藉以确信的认识,并且这些认识拥有潜在的能力为特定目的而使用 —— 维基百科
知识指人类在实践中认识世界的成果 —— 百度百科
百度百科比较简练,维基百科倒是讲到了“主题”,以及知识的“使用潜力”,所以,面向主题和使用潜力应该算是知识的重要特性。另外在现实生活中,我们还常常分不清什么是数据,什么是信息,以及什么是知识。如果要区别什么是知识,有一个1980年之前提出来的著名的认知架构叫DIKW金字塔,其认为数据是最基础的,其上是信息,再是知识,最后是智慧。但我自己更喜欢的是前喜茶和百果园的CIO沈欣老师的定义:知识是一种可验证、显性的经验模型(作者在文字描述上做了修改,内容基本一致)。而知识的层次可以分为数据—>信息—>经验—>知识。个人觉得把知识定义为一种可验证和显性的模型,更有助于现代计算机以及AI系统去理解和运行。对于数据、信息、经验和知识之间的关系与递进,下面这张图可以准确诠释:
上图把对数据、信息、经验和知识做了完整定义,分别是:
- 数据:反应客观事实的数字、符号或记录。
- 信息:经过整理、归类或分析的数据,赋予其意义和目的。
- 经验:技能或认知,通常依赖个人或组织的积累。
- 知识:可验证的业务模型,能指导决策和行动。
里面还有一个生动的例子,讲述了各自的区别,各位可自行阅读。图中有一句话让我印象最深刻,就是经验属于个人隐形认知,而知识是显性化的,可复用的体系单元。在AI的企业落地实践中,算力和大模型使用方面,在一定程度上是“众生平等”的,当然我说的是推理。但是在如何把AI用好这件事上,我们最需要的就是如何让知识发挥作用,最难的也是如何转化和积累知识。如上图表达的,当发现用户经常点击某运动鞋的详情页,却没有下单,应该巧妙地给他发一张优惠券促使成交,而且把这本来是运营人员的个人经验模型化,让AI可以直接使用,才是真正完成了知识转化。
在企业内部,这样的例子比比皆是,比如:
- 面对各类不同条件,有经验的造价师如何去计算价格,其实也是一种知识模型;
- 金融行业对于风险的识别判断,除了大数据之外,就是各类知识模型;
- HR如何在初筛的时候根据用人需求挑选出合适的简历,也是一种知识模型。
这样的例子应该在各行各业都存在,说白了,在彼得德鲁克的《为成果而管理》一书的第三章中也明确说到,企业的关键资源只有两类,一类是知识,另一类是资金。而且在该书的第七章还专门讲到了知识即企业,他也超前的预测,终有一天,人力最终被机器取代,知识在企业运转过程中将更为重要。后续,企业竞争的关键点就在于我们的知识有多好。
知识是什么,以及知识在企业业务中的重要性就讲到这里。下面我们来看看如何让知识在AI中发挥作用。
三、如何让知识在AI中发挥作用
要让知识在AI时代发挥作用,也并非信手捏来,而是有一定的科学性与系统化能力。我们可以分为三部分来讲述:
- 知识构建:如何将企业中的数据、信息和经验转化为知识;
- 知识应用:如何利用AI来应用知识;
- 知识运营:如何保持AI知识系统的可用性。
我们日常看到的各类信息更多聚焦的应该是第二部分——知识应用,但实际上作为一个真正的企业级知识库,必须是三者兼修的,不然都只能是玩具。下面我就来分享一下这三部分的内容。
3.1 知识构建
在企业中,知识原本往往散落在各处,包括OA系统、传统知识库、网盘、员工个人电脑,以及各类结构化数据库。如果不能将它们进行聚集和组织,我们很难真正成为知识驱动的、富有效率的企业,这就是知识构建需要完成的事情。
知识构建一般分为几步,包括知识导入、知识加工,以及如何将数据和文档转化为知识。下面我们一步步来看如何构建知识。
我们在很多传统的书本和论文中看到的知识构建基本上都和知识图谱有关,比如最常见的RDF(资源描述框架),但我们把如何利用知识图谱来构建知识,以及如何做知识双链等内容放到后面的文章再来探讨。今天我们先讲点简单一些的。
3.1.1 知识导入
知识的来源有很多,相信能看这篇文章的你应该都不陌生,大致包括:
- 本地文件:企业内部电脑上都会存在大量的本地文件,常见格式包括Word、Excel、PPT、PDF、TXT和图片等,当然还有一些特殊的格式,如视频和CAD等。
- 原有系统:企业原有的各类数据和知识系统,包括传统知识库、文档管理系统、OA、数据库,以及更综合的钉钉、飞书和企业微信等办公软件。
- 外部知识:从互联网获得相应的知识内容对于现代企业来说已经变得越来越重要,所以知识库的知识导入必须是可以导入外部知识的;
- 其他:还有就是纸质版的各类知识,它们需要被扫描或人工录入才能被机器使用。
知识导入要做的事情就是为本地文件批量上传提供入口,以及,通过API对接等方式自动化导入原有系统内的数据和知识。
一般可以用三种方式实现知识导入的自动化触发:
- Webhook:接受指定的触发事件时开始知识导入/抽取,如原有系统有新建文档产生;
- 定时触发:相对机械化的定期任务设置,如每天固定时间/每小时/每分钟等;
- 定时触发(高级):可自定义的定时任务,如使用Cron表达式等。
3.1.2 知识加工
如果说知识导入决定了入库知识的数据量和时效性,那么知识加工则很大程度上决定了入库知识的质量。
知识加工和数据ETL过程是类似的,也同样包含抽取(Extract)、转化(Transform)和加载(Load)等过程,目的是为了让知识具备更强的可表示性、可用性和关联性。在TorchV AIS和TorchV KB…