导读 introduction为什么 Prompt 写得再细,AI 还是会输出奇怪的结果?为什么新项目 AI 很好用,历史业务却总是翻车?本文作者从信息论出发,用一个简单的框架帮你拆解 AI Coding 里的种种困惑——当你不再跟着新概念焦虑,而是回到"信息"和"不确定性"的底层逻辑,很多问题会清晰得多。 全文 7903 字,预计阅读时间 7 分钟GEEK TALK01
引言
AI Coding 的概念更新速度很快。Context Engineering、RAG、Agent Memory、Harness Engineering、SDD……每隔一段时间就有新词出现,每个词背后都跟着一批工具、框架和最佳实践。
*🤔如果每次都从头学,很容易陷入一种焦虑:不知道哪个值得投入,不知道哪个适合自己手头的场景,也不确定今天学的东西明天还算不算数🤯*
*本文是作者最近的一些思考以及和大模型讨论的结果,尝试从 AI 大模型的本质出发,建立一个思考框架。*
*有了这个框架,遇到新概念时可以先问两个问题:①它在解决哪一层的问题?②它对当前场景的信息流动有没有实质帮助?答案通常会比预期清晰得多……*
先从几个具体问题入手——这些问题大家可能都碰到和思考过:
- 为什么 Prompt 写得很细,AI 还是会输出和预期相悖的结果?
- 为什么 AI Coding 在新项目上很好用,在历史包袱重的业务上却容易卡住?
- 类似 OpenClaw 的对话式 Agent,能不能真的只给一份需求文档或链接,就完成整个需求的交付?
- OpenClaw、Hermes 这类 Agent 都在做记忆机制,记忆越多,AI 是更准确,还是更容易走神?
*我想用信息论来回答这些问题。*这里不是要把 AI Coding 严格建模成一套完整的概率系统,而是借信息论提供一个坐标系:哪些优化手段真的在对抗熵增,哪些只是占满了上下文窗口,哪些问题能靠工程手段改善,哪些本来就需要人介入。
GEEK TALK02
信息论视角
*目前 AI Coding 里公认最好用的模型之一 Claude,其名字本身就来自信息论的奠基人克劳德·香农(Claude Shannon)——他在 1948 年发表的《通信的数学理论》奠定了整个信息论的基础。用香农奠定的信息论,来分析 AI Coding 里的信息流动问题,算是一个小小的呼应。*
先看三个概念:*熵、条件熵、互信息*。它们不复杂,但很适合描述 AI Coding 里的几个核心变量。
2.1 熵:可能性的大小
熵用来衡量一个变量的不确定性。对随机变量 X 来说,熵 H(X) 定义为:
通俗点说,熵就是可能性空间有多大。
抛一枚均匀硬币,正反面概率各 0.5,结果有 1 bit 的信息量。告诉你明天太阳从东方升起,信息量接近 0,因为它几乎没有不确定性。越不可预测的事情,发生时带来的信息越多。
放到 AI Coding 里,用户说写一个登录函数,这件事的熵很高。语言可能是 Python、Go、JavaScript,认证方式可能是 Session、JWT、OAuth,错误处理也可能有很多种。目标越模糊,可能性空间越大。
2.2 条件熵:看完上下文后还剩多少不确定性
条件熵 H(Y \mid X) 描述的是:已知 X 之后,Y 仍然有多少不确定性。
如果 X 是你给 AI 的上下文,Y 是它要生成的代码,那么 H(Y|X) 就是模型看完上下文之后还需要自己猜的部分。
你只说写一个登录函数,剩余不确定性很大。你补充 Python、FastAPI、JWT、参考现有 UserService、错误格式沿用 ApiError,模型能排除大量可能性,剩下要猜的东西就少很多。
2.3 互信息:上下文帮你排除了多少可能性
互信息 I(X;Y) 衡量的是:观测 X 能获得多少关于 Y 的信息。
这条式子很适合解释上下文为什么有用。上下文本身不神奇,它有用是因为它能排除错误方向,减少模型需要自由发挥的空间。
RAG 也是这个逻辑。检索不是把知识库塞给模型,而是找到和当前任务互信息最高的片段。一次精准召回能直接告诉模型该用哪个接口、哪个类型、哪个业务约定,它减少的是剩余猜测空间。
2.4 一个有用的分解
把上面的关系换个写法:
在 AI Coding 的语境里,可以粗略理解成:
- H(Y):目标代码本身的全部可能性。
- I(X;Y):上下文帮模型排除的那部分不确定性。
- H(Y|X):模型最后还得靠自己的通用经验去补的部分。
这不是说每个代码任务都能被严格塞进这个公式里。真实任务里的 X、Y、用户意图和运行环境很难被完整定义成一个联合分布。但作为工程判断,它很有用:提升 AI Coding 质量,很多时候就是提高上下文和目标输出之间的互信息,或者减少模型必须猜的空间。
用登录函数的例子看:
- 只说写登录函数,H(Y) 很大。
- 补充 FastAPI、JWT、数据库模型、错误格式,I(X;Y) 变大。
- token 过期时间、错误文案、日志粒度这些没写清的部分,仍然落在 H(Y|X) 里。
AI 最容易出问题的地方,通常就在最后这一块。
GEEK TALK03
理想模型的两个现实修正
信息论给出了一个简洁的分解框架,但 LLM 并非理想的信息处理器。*将框架落到实际场景,有两处重要的修正:其一,模型填补剩余不确定性时依赖的是训练先验,而非业务真实分布;其二,即便上下文充足,注意力机制的限制也使得信息量不能无限堆叠。*
3.1 修正一:低熵不等于正确——模型输出分布 P 与业务真实分布 Q 的差距
我们可以把 LLM 理解为对于下一 token 预测。即给定当前上下文,模型输出下一个 token 的概率分布:
但说 LLM 的本质是最小化条件熵,容易说过头。更准确的说法是:训练时,模型通过最小化训练数据分布下的交叉熵,让自己的分布 P 尽量逼近数据分布 Q ;推理时,它在给定上下文后给出一个概率分布,采样策略再从这个分布里选出输出。
这带来一个关键区分:模型很自信,不等于模型说得对。
3.1.1 模型自信:低熵不等于正确
当模型在自己的分布 P 下对某个输出概率很高时,它会显得很笃定。它可能稳定地写出某个函数名、某个 API 调用、某种目录结构,因为这些模式在训练分布里很常见。
问题是,你当前仓库里的真实规则不一定在训练分布里。
比如模型自信地调用 userClient.getProfile(),因为这个名字很符合通用代码习惯;但你的项目里真实存在的是 profileService.fetchByUid(),还必须带上灰度参数。模型的输出在语言模式上顺畅,在当前业务里却是错的。
所以低熵更像模型的自信度,不等于正确性。模型输出的"内部一致"是指它在多文件、多步骤的生成过程中不自相矛盾——但低熵的输出可能内部一致却业务错误,比如自信地调用了一个不存在的 API。真正的正确性要看它是否贴合业务真实约束。
3.1.2 贴合真实约束:交叉熵才是更关键的问题
模型分布 P 和真实业务分布 Q 的差距,可以用交叉熵来理解:
这里的 Q 不只是公开互联网代码的规律,还包括你的私有仓库、业务约定、运行环境、团队审美、历史包袱和测试约束。
很多 AI Coding 的失败不是模型输出发散,而是它太自信地遵循了另一个世界的规则。它写的是公开社区里合理的代码,不是你当前业务里能跑的代码。
这就是复杂历史业务难做的根本原因之一:真实约束藏在私有代码和团队经验里,而模型先验来自公开语料。P 和 Q 的差距越大,越不能指望模型靠猜补齐。
3.1.3 两类常见失败
这里的重点不是让模型永远更自信,而是让它的自信建立在正确约束上。这两类失败的底层机制,会在后面的框架总览里做进一步归纳。
3.2 修正二:上下文并非越多越好——信息密度的边界
增加上下文通常是对的,但不是越多越好。
在理想的信息论模型里,加入新上下文 Z 后,条件熵不会增加:
如果 Z 和任务相关,它理论上能减少不确定性。问题是,LLM 不是理想的条件熵最小化器。它有上下文窗口,有注意力分配,有检索误差,也会被冲突信息带偏。
上下文太多会带来两个问题:
- 有用信号被冗余内容淹没,模型看到了但没用上。
- 无关或矛盾信息引入歧义,输出分布反而变乱。
评估一个 AI Coding 优化方案,可以问两个问题:
- 它能不能增加上下文和目标输出之间的互信息?
- 它的信息密度够不够高?
两个问题都成立,才是好优化。
RAG 的价值有一个前提:召回必须足够准。它不是天然提高质量的机制;只有召回片段和当前任务强相关时,才是在提高单位 token 的有效信息。召回错了,反而会把模型带偏。
3.2.1 有些上下文会降低有效信息
反过来看,不是所有输入都会帮 AI。有些做法不是收益低,而是明确有害。它们要么降低信息密度,要么把错误先验注入模型,要么让模型在冲突约束里来回摇摆。
最危险…