每到学期末、评估期或者项目申报阶段,很多老师都会遇到同一件事情:
填表。
一张看起来并不复杂的表格,往往需要查询大量数据,例如:
- 近三年的科研项目数量
- 本学期的授课课程
- 指导学生情况
- 教学工作量统计
问题在于,这些数据往往分散在多个系统中:
- 教务系统
- 科研系统
- 人事系统
- 研究生系统
- 学生管理系统
于是老师需要:
1️⃣ 登录不同系统
2️⃣ 查找对应数据
3️⃣ 手动统计
4️⃣ 再填写到表格中
一张表格可能需要花费十几分钟甚至更久。
但实际上,这些数据早就存在系统里。
只是缺少一个简单的方式把它们取出来。
于是我们在想:
如果老师只需要问一句话,就能自动获取这些数据,会怎么样?
例如:
- “我近三年的科研项目数量是多少?”
- “我今年教了几门课?”
- “帮我统计一下我带的研究生人数。”
系统自动查询数据,并生成结果。
这就是我们做的事情:
一个填表辅助AI助手。
一、我们想解决的核心问题
在调研过程中,我们发现老师在填表时主要有三个痛点。
1、数据分散
不同业务系统之间数据是割裂的。
老师往往需要:
- 登录多个系统
- 在不同页面查询
- 手动整合数据
而对于老师来说,他们并不关心数据在哪个系统。
他们只关心:
“我需要这个数据。”
2、查询方式复杂
很多系统的查询方式并不友好:
- 查询入口深
- 字段名称难理解
- 统计功能有限
有些统计甚至需要:
导出数据 → Excel处理 → 再统计
3、表格填写重复
很多表格填写的数据其实是:
系统中已经存在的数据。
但因为系统之间没有打通,老师只能重复操作。
二、一个更简单的方式:智能问数
我们希望把这个流程变成这样:
老师只需要输入一句自然语言,例如:
“统计我近三年的科研项目数量和经费。”
系统就会自动:
1️⃣ 理解用户问题
2️⃣ 判断用户想查询什么数据
3️⃣ 自动查询数据库
4️⃣ 返回结构化结果
最终生成可以直接填写表格的数据。
整个过程可以理解为:
看起来很简单,但背后其实有两个关键能力:
- 理解用户意图
- 自动查询数据库
接下来简单介绍一下这两个核心能力。
三、第一步:理解用户想查什么
人类表达问题的方式是非常多样的。
例如查询课程数量,老师可能会这样问:
- 我今年教了几门课
- 我本学期课程数量
- 我授课课程统计
- 我的教学课程情况
虽然表达不同,但本质是同一个需求:
查询教师课程数量
这一步在AI智能体中叫做:
意图识别。
简单来说,就是判断用户:
“到底想做什么”。
如果意图识别错了,后面的所有查询都会出错。
使用语义检索增强意图识别
为了让系统更好地理解问题,我们构建了一个意图库。
当用户提问时,系统会:
1️⃣ 将用户问题转换为语义向量
2️⃣ 在意图库中查找最相似的问题
3️⃣ 找到对应的业务意图
这种方式的好处是:
不需要写复杂规则,也不需要频繁修改代码。
如果未来出现新的问法,只需要:
补充新的示例问题即可。
完整流程如下:
(1)构建意图RAG知识库
例如,用户可能提问“近三年的学术论文有哪些?”
经过意图泛化后可能的提问有:
查老师近三年论文找老师近3年论文调老师三年论文老师近三年论文有吗老师近3年有论文吗老师三年论文有哪些想找老师近三年学术论文需要老师近3年学术论文求老师近三年相关论文...
意图RAG知识库中一条切片就是一个意图表达。
例如:
intent_id: paper_queryintent_name: 查询学术论文intent_expression: 教师论文数量
我们将意图识别结合RAG,实现了对泛化能力的可控化,保证了高准确率。遇到线上未覆盖场景时,无需修改提示词或调优,仅需补充知识库条目即可快速响应,极大简化了修复流程。(2)意图识别查询
用户提问后一般会匹配Top K个意图,然后让LLM判断真正意图。
用户问题:我近三年的学术论文有哪些候选意图:1-intent_id: paper_query意图表达: 查询教师论文2-intent_id: paper_query意图表达: 查询教师论文3-intent_id: research_award_query意图表达: 查询科研获奖最终输出:意图为{查询教师论文}
如果在意图识别RAG库中已经添加过泛化的内容,可能候选意图中大部分都是同一个意图表达,这样会更加稳定。
四、第二步:让AI自动查询数据库
当系统知道用户想查询什么之后,接下来要解决的问题是:
如何从数据库中获取数据?
系统中的数据本质上都存储在数据库中,例如:
teachercourseprojectstudent
但数据库的查询通常需要写SQL语句,例如:
SELECT count(*)FROM projectWHERE teacher_id = ?
对于大部分老师来说:
SQL是完全陌生的。
因此我们需要让AI完成一件事情:
把自然语言转换成SQL。
例如:
用户问题:
我近三年的科研项目数量是多少?
AI生成:
SELECT COUNT(*)FROM projectWHERE year >= 2022AND teacher_id = ?
然后系统执行SQL,就能获取结果。
如果直接让AI生成SQL,往往会出现一些问题:
例如:
- 表名错误
- 字段不存在
- SQL逻辑不正确
为了解决这个问题,我们引入了一种知识增强机制。
系统会提前准备一些数据库及相关信息,例如:
- 数据表结构
- 字段说明
- 表之间关系
- 业务规则逻辑
- 示例SQL语句
当用户提问时,AI会基于这些知识生成SQL,这样可以大幅提升SQL生成的准确率。
为此我们添加一个Text2SQL节点,将数据库表结构信息、业务规则、用户提问以及参考示例都提供给它,让它生成SQL语句。相关示例内容如下:
数据库Schema示例:
数据库名称:faculty_research_db本数据库用于存储教师科研、教学、论文、获奖等相关信息。--------------------------------------------------教师基础信息表(teacher)表用途:存储高校教师唯一身份编号、姓名、所属学院、职称、入职年份等核心基础档案信息,是全库关联主表。字段:| 字段名 | 数据类型 | 约束 | 字段描述 || ------------ | ----------- | --------------------- | ------------------ || teacher_id | INT | PK, NOT NULL, 自增 | 教师全局唯一标识ID || teacher_name | VARCHAR(50) | NOT NULL | 教师真实姓名 || department | VARCHAR(100)| NOT NULL | 教师所属二级学院 || title | VARCHAR(30) | NOT NULL…