Harness 与 Agent 工程 · AI研发与测试工程 · 2026-07-07

分类、抽取、Rerank:小模型最容易落地的三个方向

别再为大模型的高成本犯愁!小模型在分类、抽取、重排这三个边界清晰的任务上,成本更低、速度更快、效果更稳定。

核心内容:

  1. 小模型在成本、延迟和稳定性上的独特落地优势
  2. 分类、抽取、重排三大核心任务的应用场景与原理
  3. 如何将三个方向串联构建高效AI应用流水线

> 小模型最适合的不是“替代大模型回答所有问题”,而是承担边界清晰、输出稳定、调用高频的基础能力。

过去两年,很多团队接入大模型后都会遇到同一个问题:大模型效果很好,但成本、延迟和稳定性不一定适合所有环节。尤其在生产系统里,真正高频的任务往往不是开放式长文生成,而是分类、抽取、排序、过滤、路由、审核、结构化处理。

这些任务有一个共同特点:输入可以复杂,但输出空间相对可控。因此它们非常适合用小模型落地。

如果把一个 AI 应用拆开看,大模型更像“复杂推理和生成引擎”,小模型更像“数据处理流水线里的专用算子”。其中最容易落地的三个方向是:

这篇文章用数据流图和工作流图讲清楚这三个方向的原理、方法和落地路径。


1. 为什么这三个方向最适合小模型?

小模型的优势不是“无所不能”,而是:

分类、抽取、Rerank 正好符合这些条件。

这三个方向不是彼此独立的。很多真实系统会把它们串起来:先分类判断意图,再抽取关键字段,最后对候选知识或商品做 rerank。


2. 方向一:分类,让模型成为业务流量的路由器

分类是最容易落地的小模型任务。它的目标很简单:给定一段输入,输出一个或多个标签。

典型场景包括:

场景 输入 输出
客服意图识别 用户问题 退款、物流、售后、投诉
内容审核 文章/评论 正常、广告、低俗、涉政、辱骂
工单分派 用户反馈 产品、技术、财务、运营
邮件分类 邮件正文 销售线索、客户投诉、垃圾邮件
Agent 路由 用户任务 搜索、写作、代码、数据分析

2.1 分类的数据流

分类任务的关键不是让模型“会聊天”,而是让模型在固定标签空间里做稳定判断。

例如客服场景里,模型不需要生成解释,只需要输出:

{ "intent": "refund", "confidence": 0.92}

2.2 分类的常见方法

分类可以按成本和效果分成四种路线:

方法 适合阶段 优点 局限
Prompt 分类 冷启动 不用训练,最快上线 成本高,稳定性一般
Embedding + 规则 少量标签 简单、可解释 边界复杂时效果有限
小模型微调 稳定业务 成本低、速度快、效果稳 需要标注数据
蒸馏大模型 标签难、样本少 利用大模型生成数据 数据质量要控制

最常见的落地工作流是:先用大模型和规则冷启动,再积累真实数据,最后训练小分类模型。

2.3 分类落地的关键点

分类不是标签越多越好。真正重要的是标签体系要服务业务动作。

一个好分类系统通常满足:

如果某个标签没有对应业务动作,它往往不是一个好标签。


3. 方向二:抽取,把非结构化文本变成结构化数据

抽取的目标是从文本中提取字段,比如姓名、公司、时间、金额、地址、诉求、风险点、合同条款等。

它是小模型落地的第二个高频方向,因为大量企业流程的本质都是“把文档和对话变成表格”。

典型场景包括:

场景 输入 输出
简历解析 简历文本 姓名、学校、公司、技能、年限
合同审查 合同条款 甲方、乙方、金额、期限、违约责任
发票/票据处理 OCR 文本 抬头、税号、金额、日期
销售线索 聊天记录 公司、联系人、预算、需求、时间
风控审查 申请材料 主体、金额、异常描述、风险等级

3.1 抽取的数据流

抽取任务和分类不同:分类输出一个标签,抽取输出一组字段。

例如销售线索抽取可以输出:

{ "company": "某某科技有限公司", "contact": "张先生", "budget": "20万以内", "need": "私有化部署知识库问答", "timeline": "本季度", "risk": "预算未确…
— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/RAG/2026070727863.html