接个大模型做个 Demo,4 个方框就够了——用户、WebSocket、LLM、再回到用户。架构图看着很 AI。
上线第一天面对真实用户,你需要的是 12 个以上——而且其中没有一个是 AI。
2026 年 7 月,三个团队——一家银行的 AI 聊天机器人、一个 YC S26 的初创公司、一家做 COBOL 智能体的工程团队——同时撞上这个问题:真正决定 AI 项目能不能上线的,从来不是模型有多强,而是工程基础设施够不够厚。
今天把三家的工程教训摆在一起,看看到底是哪里出了问题。
01 三个教训:3 家团队撞上的同一堵墙
教训一:意图识别不该用大模型。
故事来自一家银行的 AI 聊天机器人团队。一位 Node.js 开发者接手时,自己都觉得活儿简单到尴尬:"用户连接时打开 WebSocket;消息发给 AI;回复流式传回去。架构 v1 只有四个方框。"
撑了不到一周。他凭直觉问:"如果有人问机器人昨天的 IPL 板球赛谁赢了,会怎样?" 没人答。当场试——机器人把这个问题塞进装满定存利率和贷款条款的知识库搜索,什么都没找到,却自信地胡答了一通:"板球相关问题请联系您的支行"。
好笑十秒。然后就不好笑了。这个机器人没有"这不归我回答"的概念。
他们需要一个"守门人"——意图识别(Intent Detection)。但把意图识别也用大模型实现时,灾难来了:
| 维度 | LLM 意图识别 | 小型 transformer 分类器 |
|---|---|---|
| 单次延迟 | 200-300 ms | 10-15 ms |
| 准确率 | 高 | 一样高 |
| 每次成本 | 约 0.01 元 | 约 0.0001 元 |
外请的资深工程师看了架构图笑着说:"你们在用剑切菜。剑看着唬人,刀才是干这活的对的工具。"
教训二:缓存不是"键值对",是"语义对"。
银行团队解决意图问题后,又问:"能缓存吗?" 答案是"能,Redis"。然后他们花了一周才搞清楚——缓存什么是个远比想象中难的问题。
第一次:存查询、存回复,键值对搞定。结果下一个测试就崩——"今天定存利率多少"命中,"能告诉我今天的固定存款利息吗"就没命中。同一个问题、同一个意图、不同的字符串。
第二次:按意图缓存,不按原文。撑了一天。有人连问两个都被归为 FD_RATE:"定存利率是多少"和"定存有什么好处"——同一个意图桶,完全不同的答案。
架构师递过来一张纸巾,写着两个词:语义缓存(Semantic Cache)。原理:把查询转成嵌入向量(embedding)——捕捉"含义"——再和缓存向量比对,足够接近就直接返回缓存答案。
周一早晨开发者打开 Grafana,看到的却是——缓存命中率 8%。原因:他把相似度阈值设成 0.90,只是因为某篇 Medium 文章用了 0.90。团队拿两天的真实流量重新校…