本文介绍了交易终端团队基于LLM构建的智能用户反馈舆情巡检系统:针对人工巡检效率低、易漏报、难洞察趋势等问题,设计“采集→清洗→AI判断→预警→分发→归因→复盘”工作流;核心采用四步AI能力(识别要素→判定意图情感→知识库语义匹配→闭环学习),强制模型在人工构建的业务问题分类库中匹配,确保可控、一致、可解释;通过新增/激增预警+钉钉推送+可视化看板实现快速响应;历经三阶段迭代,最终确立“预置打标+语义匹配”方案;强调AI是辅助工具,目标是提升业务信任与实际提效。
前言:为什么要做用户反馈舆情巡检
过去一年多,交易终端团队始终聚焦于用户体验的持续优化,在交易域性能体验升级上持续投入。而用户的真实反馈,一直是我们洞察问题、驱动改进的重要来源。为了不遗漏用户反馈中的技术性问题,各业务线每天都会安排专人进行舆情巡检——逐条查看反馈、识别异常、跟进处理。然而,随着业务体量增长和反馈渠道的多样化,传统人工巡检的局限性日益凸显: | 问题 | 具体表现 | | --- | --- | | 效率低下 | 人工查看海量反馈,耗时耗力 | | 漏报风险 | 高风险舆情被淹没在信息洪流中 | | 趋势难察 | 难以识别早期问题苗头和趋势变化 | | 闭环缺失 | 问题处理后缺乏追踪和复盘机制 |
这些痛点一直困扰着我们:能不能让机器代替人完成"发现问题"这件事?随着LLM技术的快速发展,我们看到了新的可能——借助 AI 的语义理解和自动化能力,构建一套智能舆情巡检工作流,实现「自动发现问题 → 快速定位归因 → 闭环跟进复盘」的全链路升级。本文将分享我们在 AI 舆情巡检领域的探索实践,包括整体方案设计、核心 AI 能力建设、以及落地过程中的经验与踩坑。
整体方案设计
通过 AI 工作流,我们期望实现舆情巡检的三大核心能力:
我们的核心思路:采集 → 清洗 → AI判断 → 预警 → 分发 → 归因 → 复盘 。现在舆情的采集渠道均是淘内现有的吐槽吧,数据清洗的部分除了依赖魔兔平台的业务初筛以外我们会加相关人工巡检时的关键词再次捞取一遍舆情,避免部分被遗漏的数据。再将相关舆情数据结构化后投喂到AI,最后根据我们自定义的业务规则及波动阈值进行舆情预警并进行消息推送,至此完成巡检部分的工作,当然后续还有舆情归因及复盘反馈的环节,但是这个部分的能力我们还在持续建设中,暂时先不进行展开。
核心 AI 模型与能力模块
我们通过「识别 → 判定 → 匹配 → 学习」四个步骤,实现用户反馈的自动化分类,并通过闭环学习机制持续优化分类能力。 第一步:识别核心元素LLM 从用户反馈中提取「谁/什么」+「怎么了」,比如「评价页面」+「打不开」。第二步:判定意图与情感判断用户是在提建议、报故障还是问问题,同时识别情绪是正面还是负面。第三步:知识库匹配将反馈与人工预先整理的问题分类库进行匹配。知识库来源并非自动生成,而是由人工对各个业务线(如评价、物流、下单、逆向、购物车、订单、支付、问大家等)…