拦截率从15%到55%:快手智能Oncall系统演进与落地实践
在《采纳率从3%到80%:智能单元测试生成的进化之路》中,快手研发效能团队分享了如何通过智能单测架构的多次演进升级,将AI从提效工具进化为质量伙伴。当AI成功在代码源头构筑起质量防线后,如何让它继续向下游延伸,解决工程师在日常运维中的“后顾之忧”,便成为我们探索的下一个关键命题。
在企业级软件研发与维护的全生命周期中,技术值班(Oncall)是保障业务稳定的第一线,却也因大量琐碎、重复的咨询和频繁的上下文切换,成为吞噬研发效率的“黑洞”。为此,快手研发效能团队建设了智能Oncall系统:KOncall。经过多轮实践及技术演进,智能机器人已介入85%的值班场景,拦截率从15%提升至55%,累计自动化处理11.6万次咨询,显著释放了研发人力。
本文将复盘KOncall平台在智能问答领域的演进历程,即从早期的NLP分词方案,升级至当前的RAG+大模型架构。团队通过构建知识运营体系、优化智能问答核心链路以及私域模型微调,使系统在语义理解与召回精度上取得了突破。此外,团队进一步挖掘了Oncall数据的长尾价值,实现从被动响应到源头治理的转变。
一、背景:快手技术Oncall的现状与挑战
快手内部调研数据显示,研发人员在Oncall上的精力投入长期处于5%-15%之间,这部分高昂的隐性成本严重挤占了业务开发的资源。深入调研发现,现有的Oncall体系主要面临“渠道碎片化”与“缺乏智能拦截”两大核心挑战:
1.1 渠道碎片化:找人如“开盲盒”,处理被频繁打断
在早期阶段,公司内部缺乏统一的技术Oncall平台,不同技术产品各自维护着独立的Oncall路径:有的通过私聊熟人,有的需要在文档平台中检索对应的支持群,还有的依赖各类临时工具进行沟通。这种多入口、弱规范的现状,使Oncall逐渐演变为一种“经验驱动”的过程。尽管部分团队尝试引入流程化工具来规范处理,但由于缺乏统一的平台级整合,反而进一步加剧了入口的分散。这种碎片化带来了多重负面影响:一方面,问题发起人需要耗费大量时间“找对人”;另一方面,处理人被拉入大量点对点私聊,频繁受到打断;同时,处理过程作为公司知识资产分散在不同平台,难以沉淀与复用;管理者也难以从全局视角评估真实的Oncall投入成本。
1.2 缺乏智能拦截:线上化不等于智能化,拦截能力薄弱
即便部分团队已经实现了Oncall流程的线上化,但整体仍停留在“流程驱动”阶段,缺乏真正的智能能力。现有方案大多依赖关键词或规则匹配,在面对口语化表达、语义模糊或复杂问题时,泛化能力极其有限,难以有效理解用户意图。因此,系统拦截率长期徘徊在约15%,绝大多数问题仍需人工介入处理,并未从根本上缓解一线研发人员的负担。
为了解决这个问题,我们着手建设KOncall,主要解决内部技术平台的Oncall问题。在建设初期,我们就明确做一款AI Native的Oncall工具,既搭建覆盖全流程的Oncall标准化体系,更深度融合智能问答能力,切实为一线Oncall工程师减负提效。本文重点讲述智能问答的演进过程,即我们如何从技术和运营两个方面共同做功,实现快手智能Oncall拦截率从15%到55%的跃迁。
二、实践
2.1 架构跃迁构建智能基座,拦截率从15%到25%
核心策略:引入LLM+RAG(检索增强生成)架构,并复用已有知识资产,构建了AI拦截与转人工无缝衔接的业务架构,并在落地过程中,建立了基于Redis pub/sub的流式输出架构,有效解决流式输出多端重连的问题。
2.1.1 构建AI拦截与转人工无缝衔接的业务架构
为解决原有Oncall业务体系自动拦截主要依赖NLP,回复僵硬、泛化能力差的问题,我们在整体Oncall链路中引入了智能问答机器人,通过RAG召回知识,由大模型总结后回复用户,在AI未能准确回答的情况下,也允许用户一键转人工,由服务目录值班人进行人工服务。
这个链路主要解决两个问题:
尽可能覆盖更多问答入口。智能问答降低的人工单量=全部Oncall单数量x智能问答介入百分比x机器人拦截率。为了让智能问答机器人覆盖更多的用户提问入口,我们建立了一系列消息号,开发了IM群侧边栏入口和Web页智能问答SDK,在IM私聊、IM群聊、产品WEB页面这三个用户高频提问场景,都引导提问人先与机器人聊天。通过一段时间的治理,我们的智能问答介入百分比从最开始的40%提升到85%。
尽可能复用已有知识资产。智能客服机器人早期最严重的问题是缺少知识,经过梳理,我们发现公司已有的产品知识主要有以下三种形式。
以文档的形式放在Docs、Techlink等文档平台。
以QA对的形式存在于客服号等已有Oncall工具中。
以客服聊天记录的形式存在于客服号、啄木鸟等已有Oncall工具中。
针对这几种知识,我们先后打通文档平台,协助用户导入导出QA知识,并建立了从客服聊天记录总结提炼QA的Agent,经人工确认后以QA对的形式导入知识库。通过尽可能复用已有知识资产,我们建立起一个不完善但相对可用的知识库。智能问答拦截率从原有基于NLP时代的15%,提升到25%左右。
2.1.2 基于Redis Pub/Sub,构建多端、流式、可重连的对话管理基座
在智能问答链路建设早期,我们的问答链路仅支持KIM(内部IM平台),且整体设计比较简单,整体时序图如下:
在消息队列的选型中,我们首先考虑了Kafka,但在初步尝试后,我们就发现Kakfa并不适合这个场景,最终经过调研,切换到了基于Redis的pub/sub方案,主要原因是:
极低延迟与即时分发:Kafka基于磁盘存储与批处理机制,端到端延迟较大。Redis基于全内存操作,采用Fire-and-Forget模式,能实现Token级的毫秒级实时推送,响应延迟明显比kafka要低。
消除头部阻塞(HOL Blocking):Kafka为保证消息顺序必须限制分区(Partition)并发,导致长文本请求阻塞同分区的后续请求。Redis Pub/Sub以SessionID为频道(Channel),实现会话级的天然隔离与并行处理,无重平衡开销。
降低计算与存储资源成本:问答流数据具有瞬时性,无需Kafka提供的持久化存储与多副本冗余,强行使用Kafka本身就是一种浪费。Redis的Pub/Sub模式下,消息推完即弃,极大地降低了磁盘I/O压力与存储成本,单机支撑并发能力提升一个量级。
原生支持多端状态同步:Kafka的消费组模型在处理 PC/移动端同时在线时逻辑复杂。Redis Pub/Sub原生支持多订阅者模式,不同端只需订阅同一频道即可实现实时、一致的内容渲染,架构逻辑大幅简化。
高并发下的线程效率:Redis的Pub/Sub支持响应式编程,这样极少的线程就可以支撑很大的并发容量,考虑到大模型推理较慢,一个SSE连接时长要保持2-5分钟,同时保持的连接数量可能较多,Redis的响应式IO避免了建立一个超大线程池,规避了 Kafka的线程切换瓶颈与内存损耗。
在简单的测试中,Kafka消息的发布端、接收端延迟常在10ms-20ms上下, 而redis pub/sub的发布端、接收端延迟基本在1ms以内。在后续压测中,我们的服务端仅用4个线程,就可以在压测过程中逼近推理集群的极限,初期合理的技术基建为后续平台扩量打下了坚实的基础,后续智能问答数量从日均100条上升到日均1300条,从未遇到因为流式输出导致的性能问题。
2.2 知识运营做功,拦截率从25%到35%
2.2.1 企业内部知识建设现状
在上一个阶段,我们通过复用存量知识资产与大模型原生的推理能力,初步构建了智能问答的基础链路,将拦截率提升至25%。但在随后的 Badcase分析中,我们发现剩余未能拦截或误答的案例,核心瓶颈在于模型侧缺乏领域知识或获取的知识可靠性不足。
通过对公司内部业务平台的深度复盘,我们识别出阻碍智能化进阶的三大“知识顽疾”,并摸索出对应的解决方案。
显性文档滞后: 内部产品处于高频迭代状态,缺乏专职维护人力,导致文档平台的内容往往“上线即过时”。这种“文档失鲜”现象让模型在检索时陷入“无米下炊”的窘境;
隐性知识流失:海量的长尾问题解决方案散落在历史工单和日常群聊的对话流中,因缺乏高效的回收机制,这些宝贵的经过人工校验的“领域经验法则”沦为无法利用的废弃资产;
基于文档切片的知识无法解决幻觉问题:虽然模型能力一直在进步,但只要经过大模型总结,幻觉问题就难以避免,而内部技术平台大多是运维、部署、技术中间件,一旦幻觉误导没有经验的用户,就可能造成严重的后果。
2.2.2 FAQ类型知识的重新引入
经过探索,我们认为应当拓宽知识来源渠道,从历史工单的处理群聊记录中提取知识,同时,应当引入FAQ知识格式,以解决基于知识切片的幻觉问题。
首先,历史工单群聊记录有以下优势:
被复用的可能性高:Oncall中绝大部分问题都是简单而重复的,文档中不一定有某个场景的具体使用方式、某个报错的具体处理措施,但Oncall几乎一定处理过,而且处理过的问题往往会被重复问起。
时效性很强: 内部工具迭代极快,文档往往严重滞后。而群聊中的问答直接反映了最新的业务逻辑和“隐性知识”。
天然语义完整: 文档切片(Chunking)的传统方式,很容易造成语义断裂,有可能被分到同一个块中的内容完全是两个主题…