让问题不过夜:交易领域“问诊”Agent实践
为此,我们围绕“研发支持中的问诊痛点”,构建了一个可持续运营的智能 Agent 系统。通过将一线高频问题抽象为两类核心能力形态(业务答疑与问题诊断),并结合“排查文档技能化 + 质量评分闭环”机制,实现解释与排查工作的前置自动化。该系统不仅“能跑”,更能持续迭代进化,显著缩短首响时间与平均解决时长,提升服务一致性与工程效能。
一、背景:研发支持的真实工作流(为什么痛)
对于开发者而言,研发过程中最消耗精力的往往不是写代码,而是被不断打断。
一个典型的工作日清晨,你正准备推进昨日因会议中断的开发任务,打开钉钉却发现消息如潮水般涌来:
产品经理转发一段聊天记录,询问某个功能入口的具体逻辑;
测试同事发来一条舆情链接,请求协助判断是否属于异常行为;
一线客服催促处理未闭环的工单,称商家已多次追问……
为何研发的一天总是这样开始?
根本原因在于:随着业务长期演进与人员流动加剧,知识逐渐碎片化甚至出现断层。信息多散落在代码注释、历史讨论或个别专家脑中,缺乏有效的组织沉淀机制。以工单处理为例,系统运行多年,却始终没有形成可复用的经验资产,后续人员面对相似问题仍需从零排查。同时,应用架构日益复杂,一个功能常横跨多个服务及数十个二方包,排查过程如同“长征”。
这并非个例现象。根据内部调研数据,后端开发人员约有 20% 的时间用于运维类事务(如答疑、排障等),大量碎片化投入严重影响了主职研发效率。
因此,我们要解决的不是一个具体的技术问题,而是:
如何让研发支持变得可规模化、可复用、可运营?
2. 问题抽象归纳:将千奇百怪的问题收敛为两种能力形态
尽管用户提问形式多样,但从“研发支持”的本质出发,可以将其归结为两大类典型任务:
2.1 形态一:业务答疑(解释型能力)
典型问题示例:
“为什么我看到 A,用户却看到 B?”
“看板数据和明细对不上怎么办?”
“这个字段的状态到底代表什么?”
工程化定义:
输入是现象或疑问;输出应包含:规则/口径说明 + 查证路径 + 结论边界。
常见成因包括:AB 实验策略、人群圈选、灰度发布、权限控制、版本差异、统计口径延迟等。
核心模式:
理解用户意图 → 从知识库召回相关文档 → 模型综合分析 → 输出结构化解答。
这类场景相对成熟,本文不做重点展开。
2.2 形态二:问题诊断(诊断型能力)
典型问题示例:
“订单状态卡住了”
“退款金额不一致 / 对账失败”
“接口超时 / 单笔交易异常”
工程化定义:
输入通常是携带具体 ID 的异常事实;输出需包含:证据链 + 定位步骤 + 可执行动作(如补偿、恢复、升级)。
常见根因:链路异常、依赖超时、补偿未触发、消息堆积、状态机阻塞、数据一致性问题等。
核心模式:
分析意图 → 调用工具按 SOP 执行排查流程 → 综合结果生成结论 → 提供操作建议。
相较于答疑类,诊断类任务要求更高,需要一定的决策能力和外部系统协同。
2.3 为什么要进行这种抽象?
因为这两种场景对应的 Agent 构建范式存在差异。我们的目标不仅是“回答问题”,更要稳定地替代工程师完成一段标准化的支持流程。
当问题被抽象为上述两种能力形态后,Agent 的输出即可统一规范为以下结构:
结论 + 分析解释(规则/口径)+ 排查计划(可选)+ 动作建议 + 文档引用
这一结构化的输出,为后续评估、运营与迭代提供了坚实基础。
三、为什么值得做:收益空间来自“重复 + 切换 + 不一致”
研发支持的隐性成本远不止单次排查所花的时间,主要体现在三个方面:
重复劳动:高频问题反复出现,造成资源浪费;
上下文切换成本:在不同系统间跳转,打断专注状态;
口径漂移:不同人给出不同答案,引发信任损耗。
更重要的是,它解决了因人员流动带来的知识断层风险,实现了关键经验的有效沉淀,支撑团队的可持续发展。
四、系统总览:一个“可运营”的问诊 Agent 需要什么?
我们的核心理念是:Agent 建设必须具备可沉淀、可复用、可评估、易迭代的能力。
基于此,我们将系统划分为四个层次:
4.1四层架构设计
层级 | 职责 |
接入层(Channels) | 工单、舆情平台、IM 群、合作方咨询入口。特别注意输入冗余与多模态内容(如图片、视频)的预处理,以节约 token 成本。 |
编排层(Orchestration) | 意图识别(解释型 / 诊断型)、路由至对应 Agent。 |
实现层(Agent) | 包含 LLM、RAG、排查技能文档、公共知识库、上下文组装、工具调用策略等实际执行组件。 |
运营评估层(Ops & Eval) | 问答管理、跟进项跟踪、质量评分、报表监控、反馈闭环。 |
架构示意:
4.2 设计原则:小域专精,避免大而全
以交易后链路为例,其涵盖订单正向、逆向退款、物流服务、商家支持、评价互动等多个子领域。各子域服务对象、问题特征差异较大,耦合度低。
因此,我们放弃“统一多 Agent”模式,转而采用按子域独立建设专用 Agent 的策略。优势如下:
✅ 最大程度复用已有技术支持文档与业务资料;
✅ 提升准确性,避免 RAG 向量召回时上下文污染;
✅ 减少路由复杂度,降低相互干扰,提升开发效率。
示例:问诊小助手内部结构:
五、Agent 构建演进:
从“流程编码 + 提示词堆砌”到“技能化 + 原子化”
5.1 平台选择
我们选用内部 IdeaLab 平台进行搭建,避免重复造轮子。该平台支持多种构建方式:
早期主要使用“智能助手”和“流程编排”两种模式。
(1)初阶模式:Java 编码驱动流程
在提示词中写好指令指导,实际的排查工作流全部依赖内部预先定义编排好的工具
# Role 你是一位严谨的工程技术支持人员,需要根据用户的问题提供详细而准确的回答。# Background knowledge guangguang叫逛逛# WorkFlow 问题理解:你需要理解用户提出的问题,并根据问题的内容进行分析和归纳,必要时提取用户提供的关键输入作为工具的输入参数。 工具诊断:你需要根据用户的问题,选择合适的关联工具进行诊断,如果用户遗漏关键的参数信息则需要对用户进行提示信息整理:你需要将从参考文档中检索到的信息进行整理,将相关信息与问题进行关联,形成回答内容,最终需要附上参考文档链接。 回答生成:你需要根据整理的信息,生成详细而准确的回答,包括问题的详细回答、分析、流程和注意事项等。 # 诊断能力描述 重置置顶缓存:调用<重置置顶缓存> 工具 参数itemIds 示例:重置置顶缓存[780788648052,861343465303] 买家秀入口诊断:调用<买家秀入口诊断> 工具 参数itemId 示例:买家秀入口诊断848816927344 买家秀内容诊断:调用<买家秀内容诊断> 工具 参数contentId 示例:买家秀内容诊断464560595421 商品维度数据订正:调用<重置买家秀入口> 工具 参数itemId sellerId 示例:重置买家秀入口8488169273442211962305636 # 限制 你只能根据参考文档回答用户的问题,不能提供参考文档中没有的信息。 你需要确保回答的准确性,不能捏造或创造答案。 你需要在回答中提供参考链接,链接包括来源的标题和URL,如果信息来自多个,请都列出 你需要在回答中注明参考文档的来源,以便用户可以进一步查看相关资料。 如果没有能回答问题的参考文档,你需要直接回答“抱歉,这个问题我无法回答,请联系值班同学”。
特点:排查逻辑由 Java 代码完全实现。
缺点:
模型仅用于意图识别与工具调用,推理能力未充分挖掘;
流程固化,灵活性差,难以快速迭代。
(2)进阶尝试:提示词内嵌 SOP
将排查流程直接写入提示词,并原子化工具能力。
# 角色你是一位严谨的工程技术支持人员,需要根据用户的问题和参考文档:${REFERENCE_DOC},提供详细而准确的回答。# 工作流前置知识:订单id 一般有18或者19位 如4227378732121862513 评价id 相对比较短 如1263242509876问题理解:你需要理解用户提出的问题,并根据问题的内容进行分析和归纳,必要时提取用户提供的关键输入作为工具的输入参数。工具诊断:你需要根据用户的问题,选择合适的关联工具进行诊断,必要时需判断用户输入到底是订单id还是评价id,如果用户遗漏关键的参数信息则需要对用户进行提示,对于诊断不通过的场景需要给出工具的原始输出作为引用数据订正:根据用户的问题,选择相应的工具进行订正,如果用户输入的参数不对,则需要进行提示。数据订正的结果需要全部返回,并针对结果做简要的分析信息整理:你需要将从参考文档中检索到的信息进行整理,将相关信息与问题进行关联,形成回答内容,最终需要附上参考文档链接。回答生成:你需要根据整理的信息,生成详细而准确的回答,包括问题的详细回答、分析、流程和注意事项等。# 能力描述待评价状态订正:调用<待评价状态订正>工具 参数订单id 用户id示例:待评价状态订正 3690598644532059518 923051895订单是否可评校验:调用<订单待评价校验>工具 检验改订单是否能够评价 示例订单是否可评3690598644532059518评价有礼渲染校验:调用<评价详情接口>工具 根据返回的数据检测字段rewardNumberFormat对应的值是否为空,如果不为空则输出“校验通过,渲染时透出评价有礼相关信息”,并给出透出的具体金额;如果返回的评价信息不空,则返回"渲染时无评价有礼信息";如果没有返回评价信息,则输出“没有查到评价信息,请检查订单号是否有误,或者改评价是否已超过两年”评价有礼未发放:调用<评价详情接口>工具 根据返回的数据检测字段pjyl对应的值是否为空,如果不为空则输出“该评价已发放红包”;否则输出“改评价不满足发放条件”,并结合评价有礼问题排查手册,给出具体原因# 限制你只能根据参考文档回答用户的问题,不能提供参考文档中没有的信息。你需要确保回答的准确性,不能捏造或创造答案。你需要在回答中提供参考链接,链接包括来源的标题和URL,如果信息来自多个,请都列出。你需要在回答中注明参考文档的来源,以便用户可以进一步查看相关资料。如果没有能回答问题的参考文档,你需要直接回答“抱歉,这个问题我无法回答,请联系值班同学”。
优点:灵活性增强,减少编码依赖。
缺点:
多技能共存导致提示词膨胀,“提示词爆炸”问题突出;
上下文混乱,指令跟随能力下降,运行稳定性差;
可维护性差,新增技能即需修改主提示词。
(3)Workflow 模式
workflow模式虽更利于原子工具组合,但每次新增技能均需重新编排,开发调试成本并不低。
举例:线上workflow编排一角:
更重要的是它强依赖人工编排,能享受到模型提升带来的红利有限,也没能解决长久的可维护性问题。
综上,我们需要一种既能保证输出质量,又能低成本快速迭代的新范式。
5.2 新范式:
把排查能力封装成“可召回的排查文档(SOP Doc)”
受 React 框架启发,我们提出新思路:以“场景排查文档”作为最小能力单元,通过 RAG 精准召回,动态注入上下文,引导模型严格按手册执行,自主对工具调用进行纠错。
核心思想转变:
文档即技能闭包:强约束减少幻觉与自由发挥;
新增能力 = 新增文档:无需改动提示词或流程,实现解耦;
维护对象下沉:从“改代码/调 prompt”变为“写和维护排查手册”,贴近一线。
该模式与当前主流 Skills 架构理念相通——按需加载、技能固化,提升 Agent 运行的可控性与稳定性。
排查文档模板格式
# 适用范围 简单描述适用场景 并给出指令使用示例# 字段说明(可选)给出场景依赖字段的说明 如pjyl 字段为1 表示权益已发放# 核心日志格式(可选)针对核心日志做些说明 避免模型胡诌# 排查思路 描述具体的排查步骤 期间使用工具时,给出使用的参数提示
示例:评价有礼问题诊断文档
# 评价有礼问题诊断## 适用范围命中关键字《评价有礼》,后面是订单id支持的参数类型:订单ID使用示例:评价有礼诊断4927155483760273522 解释:通过订单进行评价有礼问题诊断## 字段说明| 字…