5000 次提问、90% 满意,为什么这个 AI 项目仍然没成功?
一家企业上线了一套新人培训 AI 助手。
三个月以后,40 名员工里有 35 人使用过,累计提问 5000 次,满意度达到 90%。
单看这几个数字,确实挺漂亮的。
老板也觉得,这个项目应该算成功了。
但继续往下看,情况有点奇怪。
新人的独立上岗时间没有缩短,业务错误率没有下降,带教老师投入的时间也没有减少。
AI 最常被问的,是报销、Wi-Fi 和会议室怎么订。真正影响新人上岗的业务判断,最后还是要转给老员工。
我在拆这个企业知识库案例时,第一反应很直接:
“失败吧。”
使用量这么高,原来想改善的业务结果却一个都没有变化,那不就是失败吗?
后来我发现,这个判断也太快了。
它确实没有改善原来最想改善的几项新人培训结果,但员工愿意用,行政问题也解决得不错。我们不能因为它没有实现最初的目标,就假装这 5000 次使用完全没有价值。
更准确一点,这个工具不是没用。只是大家拿它解决的事,和老板一开始想解决的事,不是同一件事。
01
PART
5000 次提问,员工到底在问什么?
使用次数很高,不代表原来的问题已经解决。
看到一个 AI 系统被提问 5000 次,我们很容易先被这个数字吸引。
但提问次数本身没有告诉我们,员工问的是不是企业原来想解决的问题。
如果大家问的主要是 Wi-Fi 密码、报销流程和会议室预订,至少说明一件事:这些行政问题,大家确实不想再到处找人问了。
这不是没价值。
原来要去群里问、翻文件,或者打断行政同事,现在可以直接得到答案,员工当然会觉得方便。
可这套系统最开始叫“新人培训 AI 助手”。企业希望改变的,不只是新人能不能找到 Wi-Fi,而是他们能不能更快独立做业务、少犯错误,带教老师能不能少回答一些重复的专业问题。
这些结果都没有发生。
所以先别急着问“5000 次算不算多”,要看看大家问的这些问题,和老板一开始想解决的事到底有没有关系。
如果这些高频问题全部解决,新人上岗时间还是不会变化,那系统可能确实好用,只是这个项目已经跑偏了。
02
PART
我后来为什么没直接说它失败?
工具有价值,和项目做成了,不完全是一回事。
我最开始说“失败吧”,其实说得有点快。
先看好的一面。
35 名员工愿意使用,累计问了 5000 次,满意度也不低,至少说明大家知道入口在哪里,也愿意把一部分问题交给它。
可再看老板原来想解决的问题,它又确实没做成。
新人没有更快上岗,错误没有减少,带教时间也没有下降。企业最初希望改善的三件事,基本都停在原地。
但它也不是一点东西都没做出来。至少从这 5000 次提问里,企业发现大家很需要一个行政问答入口。
这个功能要不要保留,可以继续看它省了多少重复沟通。但它不能拿来证明“新人培训项目已经成功”。
说白了,产品有人用,和项目做成了,不完全是一回事。
所以要先把账算清楚:哪一部分可以留下,哪一部分得重做。否则数据好看的时候,大家只讲使用量;业务没变化时,又说员工不会用,绕到最后还是说不清这个项目到底解决了什么。
03
PART
有人用、答得…