我最开始用龙虾,也是 Opus 从头到尾,觉得这样才算是释放了最大的生产力。随着 token 越来越不够用,我开始持续探索节省 token 的方案, 越深入越发现:真正的省 token 不是削减投入、不是降低预算,而是在保证效率和产能的前提下,用结构化的方式替代蛮力输入。本质上就是学会工程化地用 AI,关键在于一个动作:在合适的时间,把合适的上下文,装载进合适的模型。这不仅省 token,更重要的是让 AI 的每一分注意力都用在刀刃上。
为什么 AI 越用越贵,还越用越笨
在ChatBot时期,模型看到的输入基本就是官方预设的系统提示词,以及用户输入框里打字的提示词,再加上一些多轮对话的历史记忆。但是在进入龙虾时代后,在token看板上随便观测任何一个任务执行的agent调用链路,以及对照公开的 token 用量分析,才发现打字输入的提示词,仅仅只是模型输入的冰山一角了,工具在多次调用、skills在反复装载、本地文件在不断被读取……随之而来的是历史上下文的几何级膨胀。我们手打输入的那几个字,在整个 Token 账单里其实只是零头。
看完这个分布,我们不难发现,上下文如何管理,是一个有技术且很需要精进的点。因为我们都知道现在上下文最大的模型也就是1M左右。不管它的话,模型会越用越笨,所有多出来的历史上下文,只能依赖龙虾工具自己的上下文压缩能力来维系对话的进行。但是这个压缩一定是有损的,在压缩过程中可能就会丢失了我们之前定好的约束,反复问已经确认过的事情。这也就是经常能听到的 Context Rot(上下文腐烂)。
上下文 token 越多,模型召回准确率持续下降。根因在 Transformer 架构本身:n 个 token 之间是 n² 的两两关联,上下文越长,注意力被摊得越薄。越多的无效信息就反而冲淡了我们真正想要大模型读取到的上下文内容。
所以对上下文做好合适的工程化管理,既能省 Token,事实上也是在让 AI 变聪明,产出更好的效果。接下来四章拆成四个动作:最小上下文、清晰理想态、Harness 架构分层、动态选型。
别让 AI "读全文",要让它"按需取"
说了管理上下文的必要性,那到底什么是"好的上下文"?其实就是要求我们找到那个最小的、信号最强的 token 集合(the smallest set of high-signal tokens)。不是喂得越多越好,是喂得越准越好。
我们可以参考大多数龙虾针对代码仓库做索引的设计方案:不把整个代码库一股脑塞进上下文,只维护一套轻量索引(文件路径、查询语句、链接),用到时用 grep / glob / read 现场搜索读取。这套打法叫 JIT(Just-in-Time,即时检索)。
JIT 解决"进来时少装"。长的多轮会话还有另一个问题:会话本身会膨胀。这就需要上下文卸载:把 AI 上下文当存储系统来管理,缓存该缓存,落盘该落盘,分层存储。
想象你的龙虾就像一台电脑。电脑有多层存储:CPU 缓存最快但最小,内存次之,硬盘最慢但容量无限。AI 的上下文系统也一样:
对标这个层级,卸载的策略就清晰了:
具体怎么操作:
提到缓存,这里顺带还有一个经常被忽略的省 token 技巧:Prompt Caching(提示缓存命中)。固定的系统指令和工具定义放前缀,重复部分只按零头计费。启用缓存最多可降低 90% 的输入成本,在尝试使用 DeepSeek 模型执行任务时,就经常能被账单的性价比惊艳到。
越约束,越自由:花五分钟说清楚,省五十分钟拉扯
很多 Token,是在"猜来猜去"里烧掉的。你扔一句"帮我写个登录页",AI 只能猜你想要什么;写出来不对,你改,它再猜。五六轮过去,Token 花了很多,事情还没做好。
写提示词就像调收音机,要找到对的…