> 小模型最适合的不是“替代大模型回答所有问题”,而是承担边界清晰、输出稳定、调用高频的基础能力。
过去两年,很多团队接入大模型后都会遇到同一个问题:大模型效果很好,但成本、延迟和稳定性不一定适合所有环节。尤其在生产系统里,真正高频的任务往往不是开放式长文生成,而是分类、抽取、排序、过滤、路由、审核、结构化处理。
这些任务有一个共同特点:输入可以复杂,但输出空间相对可控。因此它们非常适合用小模型落地。
如果把一个 AI 应用拆开看,大模型更像“复杂推理和生成引擎”,小模型更像“数据处理流水线里的专用算子”。其中最容易落地的三个方向是:
- • 分类 Classification:判断输入属于哪一类。
- • 抽取 Extraction:从文本里提取结构化字段。
- • Rerank 重排:对候选内容重新排序,把最相关的放前面。
这篇文章用数据流图和工作流图讲清楚这三个方向的原理、方法和落地路径。
1. 为什么这三个方向最适合小模型?
小模型的优势不是“无所不能”,而是:
- • 便宜:适合高频调用。
- • 快:适合在线链路和低延迟场景。
- • 稳定:输出格式更容易约束。
- • 可训练:少量业务数据就能明显提升。
- • 可部署:可以 API、自托管、边缘侧或私有化部署。
分类、抽取、Rerank 正好符合这些条件。
这三个方向不是彼此独立的。很多真实系统会把它们串起来:先分类判断意图,再抽取关键字段,最后对候选知识或商品做 rerank。
2. 方向一:分类,让模型成为业务流量的路由器
分类是最容易落地的小模型任务。它的目标很简单:给定一段输入,输出一个或多个标签。
典型场景包括:
| 场景 | 输入 | 输出 |
|---|---|---|
| 客服意图识别 | 用户问题 | 退款、物流、售后、投诉 |
| 内容审核 | 文章/评论 | 正常、广告、低俗、涉政、辱骂 |
| 工单分派 | 用户反馈 | 产品、技术、财务、运营 |
| 邮件分类 | 邮件正文 | 销售线索、客户投诉、垃圾邮件 |
| Agent 路由 | 用户任务 | 搜索、写作、代码、数据分析 |
2.1 分类的数据流
分类任务的关键不是让模型“会聊天”,而是让模型在固定标签空间里做稳定判断。
例如客服场景里,模型不需要生成解释,只需要输出:
{ "intent": "refund", "confidence": 0.92}
2.2 分类的常见方法
分类可以按成本和效果分成四种路线:
| 方法 | 适合阶段 | 优点 | 局限 |
|---|---|---|---|
| Prompt 分类 | 冷启动 | 不用训练,最快上线 | 成本高,稳定性一般 |
| Embedding + 规则 | 少量标签 | 简单、可解释 | 边界复杂时效果有限 |
| 小模型微调 | 稳定业务 | 成本低、速度快、效果稳 | 需要标注数据 |
| 蒸馏大模型 | 标签难、样本少 | 利用大模型生成数据 | 数据质量要控制 |
最常见的落地工作流是:先用大模型和规则冷启动,再积累真实数据,最后训练小分类模型。
2.3 分类落地的关键点
分类不是标签越多越好。真正重要的是标签体系要服务业务动作。
一个好分类系统通常满足:
- • 标签之间互斥或层级清晰。
- • 每个标签都有明确下游动作。
- • 低置信度样本可以兜底。
- • 线上持续收集错分样本。
- • 定期评估不同标签的 precision 和 recall。
如果某个标签没有对应业务动作,它往往不是一个好标签。
3. 方向二:抽取,把非结构化文本变成结构化数据
抽取的目标是从文本中提取字段,比如姓名、公司、时间、金额、地址、诉求、风险点、合同条款等。
它是小模型落地的第二个高频方向,因为大量企业流程的本质都是“把文档和对话变成表格”。
典型场景包括:
| 场景 | 输入 | 输出 |
|---|---|---|
| 简历解析 | 简历文本 | 姓名、学校、公司、技能、年限 |
| 合同审查 | 合同条款 | 甲方、乙方、金额、期限、违约责任 |
| 发票/票据处理 | OCR 文本 | 抬头、税号、金额、日期 |
| 销售线索 | 聊天记录 | 公司、联系人、预算、需求、时间 |
| 风控审查 | 申请材料 | 主体、金额、异常描述、风险等级 |
3.1 抽取的数据流
抽取任务和分类不同:分类输出一个标签,抽取输出一组字段。
例如销售线索抽取可以输出:
{ "company": "某某科技有限公司", "contact": "张先生", "budget": "20万以内", "need": "私有化部署知识库问答", "timeline": "本季度", "risk": "预算未确…