熠智 AI,是电商智能客服赛道的新锐玩家,目前已经打通淘宝、天猫、京东、拼多多、快手、抖音、闲鱼等主流电商平台,深度服务多家头部店铺,跻身智能客服解决方案一线梯队。在他们看来,做智能客服容易,但做好智能客服却很难,做好头部电商的智能客服更是难上加难。不仅客户的SKU 动辄上万、平台规则实时变动 ,用户需求更是五花八门。这就对答语的准确性、真实性提出更严苛要求。尤其遇上大促节点,咨询量暴增十几倍,整体技术架构面临的压力也会陡增。因此,做好一个电商智能客服,其技术架构,设计难度以及细节,远比我们想象的要多且复杂。01
核心需求拆解
正式开始技术落地前,我们先梳理了智能客服 RAG 的过程中,最核心的几类挑战:用户大量问题是“这个怎么样/耗电吗/怎么安装”,如果没先定位“这个”到底指哪一个商品,后面一切都无意义。只要商品检索错了,后面生成再好也没用。商品检索里既有强语义(比如:制热快不快),也有强词法(型号、系列名、SKU、简称)。单靠一种检索策略,很容易要么“语义对了商品错了”,要么“商品对了细节不相关”。既有通用 QA(售后、物流、保修),也有商品知识(参数、卖点、说明书内容),还可能有结构化表格(活动价、规格清单、库存/渠道数据)。如果进同一个知识库,后期很难治理、也难迭代。用户可能会查询@暖风机表格中价格小于100的商品,依托于相似度的语义检索无法精确解决类似问题。客服是高并发、强实时,必须在可控的 token 开销与可预测的时延下运行。能规则化解决的问题要前置拦截;需要检索的问题要尽量并行;检索结果要尽量少而准。
02
架构演进:从单一Ragflow ,到多模块RAG系统
基于上文提出的五大类挑战,在架构搭建的早期版本中,我们采用了单一的Ragflow架构。这里必须承认一点,RAGFlow的深度文档能力非常优秀,在复杂格式文档处理方面,无论是复杂表格,还是学术论文、技术文档,都能很好的解析。但随着公司业务增长,我们接入的店铺数据量增长和咨询场景变得复杂,单纯的Ragflow开始暴露出了严重的工程与业务痛点:首先是Ragflow只能对信息进行粗放式切片(Chunk)处理,检索粒度完全不可控,导致大量无关噪音混入上下文。与此同时,Ragflow系统本身日益臃肿,维护难度大,系统脆弱性增加。于是,在经过大量的调研与测试以后,在技术架构升级的第二阶段,我们将语义搜索的向量数据库迁移到了Milvus,与postgres传统数据库的精确匹配形成互补。基于这些挑战,我们选择把检索与数据链路拆成可演进的模块,并采用Milvus 这个开源的向量检索中间件来解决这些问题。具体来说,新的思路中,我们会把一次对话请求拆成四段:- 分层并行检索:通用知识库(QA)与商品知识库(Product)并行召回并使用rerank重排
- 两级回填拼装:Milvus 做召回与排序,Postgres 做权威字段与内容拼装
- 基于证据生成:把检索结果分层注入 prompt,约束 LLM 在证据范围内回答
同时为提高拓展智能客服的智能上限,我们还拓展了Agent智能检索的…