从Prompt到Harness,给反馈分类装上方向盘
随着业务场景和分类标准不断变化,越来越多的规则、边界和例外被写入 Prompt 或定制链路,反馈分类逐渐变得难以控制和维护。为此,我们重构了分类系统,重新划分业务、Harness 与模型的职责:业务通过完善分类树定义和配置规则来决定分类方向,Harness 将这些业务定义组织成稳定的分类流程,模型则专注于理解用户问题并完成语义判断,让分类结果能够持续跟上业务变化,最终形成由业务定义方向、系统稳定执行的可控的智能。
01
每天,海量产品评价、吐槽、求助和建议从不同渠道涌来。它们本应是驱动产品进化的重要养料,但理解和消化这些信息本身,就需要投入大量人力:运营团队需要持续整理和分类,产品经理需要从零散建议中寻找线索,开发人员则要在模糊描述与海量日志之间定位问题。
AiSee 是面向各类业务的用户反馈分析平台,聚焦用户反馈处理中的核心痛点,通过 AI 汇聚、理解和分析海量反馈,帮助团队更高效地发现问题、分析问题并推动改进。经过多年实践,AiSee 已在多个业务场景中落地,并逐步形成从反馈感知到分析的完整闭环。
其中,反馈分类是 AiSee 最基础、使用最频繁的能力之一,但它并不只是给文本贴一个标签。它首先将海量、零散的用户表达聚合成清晰的问题分布,帮助产品运营发现异常、定位场景并判断优先级;当问题进入处理阶段,分类结果又承担着明确归属、连接责任团队和推动任务下发的作用;在产品完成优化后,同一套分类数据还可以继续观察相关反馈是否下降,验证问题是否真正得到解决。
因此,分类树本质上是业务观察问题、组织协作和推动改进的一套共同语言。分类一旦不准确或不稳定,影响的不只是一张报表,还可能造成问题定位和任务流转的偏差。
随着大模型具备越来越强的语言理解能力,反馈分类看起来像一道很适合交给模型的问题:给它一条用户反馈和一棵分类树,让它从中选出最匹配的一个分类。Prompt 中再补充角色、业务背景、判断要求和历史案例,模型很快就能给出看起来合理的结果。
Prompt 工程由此帮助我们跨过了“模型能不能分类”的门槛。但当分类进入真实、复杂且持续变化的业务场景后,我们逐渐发现,问题已经不只是模型能否给出答案。随着分类节点、判断条件和例外场景不断增加,越来越多的业务经验被写入 Prompt,越来越多的特殊情况通过定制链路处理。系统分支持续膨胀,规则散落在不同位置,一次调整可能牵动多个环节,理解、验证和维护成本也越来越高。
模型侧的问题是行为难以控制,工程侧的问题是系统难以维护。 我们需要重新思考:能否不再依靠更长的 Prompt 和更多的定制逻辑解决问题,而是建立一套统一的控制框架,让业务能够定义分类方向,让模型专注完成自己擅长的判断?
02
2.1 Prompt 工程解决了“能不能分类”
在分类树较小、业务规则较少时,通过 Prompt 补充更多背景和案例,往往能够直接改善效果。模型不了解业务,就补充业务知识;相似分类容易混淆,就增加判断说明;输出不稳定,就补充格式要求和示例;遇到新的 badcase,再把新的经验写进 Prompt。
这些做法都有效,问题在于,业务分类并不是一道纯粹的语义题。
2.2 分类不是一道纯语义题
以某业务为例,一棵分类树可能同时包含不同功能、使用终端、操作阶段和问题现象。于是,一条“终端 A 批量提交任务时页面无响应”的反馈,可以同时被理解为终端 A 的兼容问题、批量操作问题、任务提交问题或页面无响应问题。
模型理解这些方向都没有错,但业务必须决定:这类反馈应该被统计到哪里,应该交给哪个团队,当前最希望从哪个维度观察和解决它。此时,真正决定分类结果的已经不只是语义相似度,而是业务的分类目的。
当多个分类在语义上都成立时,正确答案取决于业务当前的观察方向。
2.3 Prompt 与定制链路不断膨胀
随着业务不断发展,越来越多的判断条件会进入 Prompt:特定终端的问题优先进入端侧分类,明确错误码应进入指定分类,某些相似问题需要排除,历史案例只能作为参考,证据不足时不要过度细分……
每条要求单独看都合理,但累积到一起后,Prompt 就开始同时承担业务知识、分类边界、优先级、例外处理和结果约束。与此同时,一些无法通过通用流程稳定解决的情况,又逐渐形成独立的定制逻辑。新的需求继续叠加在旧链路上,规则分散、分支增多,系统越来越难以理解和维护。
模型可以理解“必须”“优先”“除非”“仅当”这些自然语言指令,却不是严格的规则执行引擎。特别是当指令过长、多个条件同时成立,甚至规则之间存在冲突时,模型无法保证每次都完整、稳定地按照预期执行。为了修复一个节点而增加的说明,也可能改变其他节点的判断结果。Prompt 越来越像一套业务代码,却没有代码的确定性、执行顺序、测试边界和变更治理能力。
继续扩写 Prompt,解决的是某一次判断;继续增加定制链路,解决的是某一类特殊情况。它们都可能短期有效,却会把长期复杂度留在系统里。
2.4 过去正确的经验也会过期
历史经验同样不是永远正确。过去,某业务的分类树中没有“音画质体验 > 清晰度 > 无4K/臻彩/1080p”这个节点,用户反馈“为什么没有 4K 选项?”只能被归入“音画质体验 > 清晰度 > 清晰度差”。这个结果在调整前是合理的,也被沉淀成了人工纠正案例。
当业务新增“无4K/臻彩/1080p”节点后,同样的反馈就应该进入新的专项分类。如果模型继续参考过去的 Few-shot,历史上正确的案例反而会持续把它拉回“清晰度差”。用户反馈没有变化,变化的是业务分类标准。
这个案例让问题变得清楚:模型可以学习过去,但分类系统必须服从业务调整后的方向。 我们需要解决的,不再只是如何写出一个更强的 Prompt,而是如何让不断变化的业务定义,及时、稳定且可验证地成为系统行为。
03
我们的答案是,在…