Harness 与 Agent 工程 · AI研发与测试工程 · 2026-06-29

AI Coding 的底层框架:一切优化都是在对抗熵增

从AI Coding的底层逻辑出发,用信息论的熵增视角,帮你理清各类优化手段的本质,告别概念焦虑。

核心内容:

  1. AI Coding中常见困惑的信息论解释(如Prompt失效、历史业务翻车)
  2. 熵、条件熵、互信息等核心概念在AI开发中的映射
  3. 如何用“对抗熵增”框架评估新概念与工程手段

导读 introduction为什么 Prompt 写得再细,AI 还是会输出奇怪的结果?为什么新项目 AI 很好用,历史业务却总是翻车?本文作者从信息论出发,用一个简单的框架帮你拆解 AI Coding 里的种种困惑——当你不再跟着新概念焦虑,而是回到"信息"和"不确定性"的底层逻辑,很多问题会清晰得多。 全文 7903 字,预计阅读时间 7 分钟GEEK TALK01

引言

AI Coding 的概念更新速度很快。Context Engineering、RAG、Agent Memory、Harness Engineering、SDD……每隔一段时间就有新词出现,每个词背后都跟着一批工具、框架和最佳实践。

*🤔如果每次都从头学,很容易陷入一种焦虑:不知道哪个值得投入,不知道哪个适合自己手头的场景,也不确定今天学的东西明天还算不算数🤯*

*本文是作者最近的一些思考以及和大模型讨论的结果,尝试从 AI 大模型的本质出发,建立一个思考框架。*

*有了这个框架,遇到新概念时可以先问两个问题:①它在解决哪一层的问题?②它对当前场景的信息流动有没有实质帮助?答案通常会比预期清晰得多……*

先从几个具体问题入手——这些问题大家可能都碰到和思考过:

*我想用信息论来回答这些问题。*这里不是要把 AI Coding 严格建模成一套完整的概率系统,而是借信息论提供一个坐标系:哪些优化手段真的在对抗熵增,哪些只是占满了上下文窗口,哪些问题能靠工程手段改善,哪些本来就需要人介入。

GEEK TALK02

信息论视角

*目前 AI Coding 里公认最好用的模型之一 Claude,其名字本身就来自信息论的奠基人克劳德·香农(Claude Shannon)——他在 1948 年发表的《通信的数学理论》奠定了整个信息论的基础。用香农奠定的信息论,来分析 AI Coding 里的信息流动问题,算是一个小小的呼应。*

先看三个概念:*熵、条件熵、互信息*。它们不复杂,但很适合描述 AI Coding 里的几个核心变量。

2.1 熵:可能性的大小

熵用来衡量一个变量的不确定性。对随机变量 X 来说,熵 H(X) 定义为:

通俗点说,熵就是可能性空间有多大。

抛一枚均匀硬币,正反面概率各 0.5,结果有 1 bit 的信息量。告诉你明天太阳从东方升起,信息量接近 0,因为它几乎没有不确定性。越不可预测的事情,发生时带来的信息越多。

放到 AI Coding 里,用户说写一个登录函数,这件事的熵很高。语言可能是 Python、Go、JavaScript,认证方式可能是 Session、JWT、OAuth,错误处理也可能有很多种。目标越模糊,可能性空间越大。

2.2 条件熵:看完上下文后还剩多少不确定性

条件熵 H(Y \mid X) 描述的是:已知 X 之后,Y 仍然有多少不确定性。

如果 X 是你给 AI 的上下文,Y 是它要生成的代码,那么 H(Y|X) 就是模型看完上下文之后还需要自己猜的部分。

你只说写一个登录函数,剩余不确定性很大。你补充 Python、FastAPI、JWT、参考现有 UserService、错误格式沿用 ApiError,模型能排除大量可能性,剩下要猜的东西就少很多。

2.3 互信息:上下文帮你排除了多少可能性

互信息 I(X;Y) 衡量的是:观测 X 能获得多少关于 Y 的信息。

这条式子很适合解释上下文为什么有用。上下文本身不神奇,它有用是因为它能排除错误方向,减少模型需要自由发挥的空间。

RAG 也是这个逻辑。检索不是把知识库塞给模型,而是找到和当前任务互信息最高的片段。一次精准召回能直接告诉模型该用哪个接口、哪个类型、哪个业务约定,它减少的是剩余猜测空间。

2.4 一个有用的分解

把上面的关系换个写法:

在 AI Coding 的语境里,可以粗略理解成:

这不是说每个代码任务都能被严格塞进这个公式里。真实任务里的 X、Y、用户意图和运行环境很难被完整定义成一个联合分布。但作为工程判断,它很有用:提升 AI Coding 质量,很多时候就是提高上下文和目标输出之间的互信息,或者减少模型必须猜的空间。

用登录函数的例子看:

AI 最容易出问题的地方,通常就在最后这一块。

GEEK TALK03

理想模型的两个现实修正

信息论给出了一个简洁的分解框架,但 LLM 并非理想的信息处理器。*将框架落到实际场景,有两处重要的修正:其一,模型填补剩余不确定性时依赖的是训练先验,而非业务真实分布;其二,即便上下文充足,注意力机制的限制也使得信息量不能无限堆叠。*

3.1 修正一:低熵不等于正确——模型输出分布 P 与业务真实分布 Q 的差距

我们可以把 LLM 理解为对于下一 token 预测。即给定当前上下文,模型输出下一个 token 的概率分布:

但说 LLM 的本质是最小化条件熵,容易说过头。更准确的说法是:训练时,模型通过最小化训练数据分布下的交叉熵,让自己的分布 P 尽量逼近数据分布 Q ;推理时,它在给定上下文后给出一个概率分布,采样策略再从这个分布里选出输出。

这带来一个关键区分:模型很自信,不等于模型说得对。

3.1.1 模型自信:低熵不等于正确

当模型在自己的分布 P 下对某个输出概率很高时,它会显得很笃定。它可能稳定地写出某个函数名、某个 API 调用、某种目录结构,因为这些模式在训练分布里很常见。

问题是,你当前仓库里的真实规则不一定在训练分布里。

比如模型自信地调用 userClient.getProfile(),因为这个名字很符合通用代码习惯;但你的项目里真实存在的是 profileService.fetchByUid(),还必须带上灰度参数。模型的输出在语言模式上顺畅,在当前业务里却是错的。

所以低熵更像模型的自信度,不等于正确性。模型输出的"内部一致"是指它在多文件、多步骤的生成过程中不自相矛盾——但低熵的输出可能内部一致却业务错误,比如自信地调用了一个不存在的 API。真正的正确性要看它是否贴合业务真实约束。

3.1.2 贴合真实约束:交叉熵才是更关键的问题

模型分布 P 和真实业务分布 Q 的差距,可以用交叉熵来理解:

这里的 Q 不只是公开互联网代码的规律,还包括你的私有仓库、业务约定、运行环境、团队审美、历史包袱和测试约束。

很多 AI Coding 的失败不是模型输出发散,而是它太自信地遵循了另一个世界的规则。它写的是公开社区里合理的代码,不是你当前业务里能跑的代码。

这就是复杂历史业务难做的根本原因之一:真实约束藏在私有代码和团队经验里,而模型先验来自公开语料。P 和 Q 的差距越大,越不能指望模型靠猜补齐。

3.1.3 两类常见失败

这里的重点不是让模型永远更自信,而是让它的自信建立在正确约束上。这两类失败的底层机制,会在后面的框架总览里做进一步归纳。

3.2 修正二:上下文并非越多越好——信息密度的边界

增加上下文通常是对的,但不是越多越好。

在理想的信息论模型里,加入新上下文 Z 后,条件熵不会增加:

如果 Z 和任务相关,它理论上能减少不确定性。问题是,LLM 不是理想的条件熵最小化器。它有上下文窗口,有注意力分配,有检索误差,也会被冲突信息带偏。

上下文太多会带来两个问题:

评估一个 AI Coding 优化方案,可以问两个问题:

  1. 它能不能增加上下文和目标输出之间的互信息?
  2. 它的信息密度够不够高?

两个问题都成立,才是好优化。

RAG 的价值有一个前提:召回必须足够准。它不是天然提高质量的机制;只有召回片段和当前任务强相关时,才是在提高单位 token 的有效信息。召回错了,反而会把模型带偏。

3.2.1 有些上下文会降低有效信息

反过来看,不是所有输入都会帮 AI。有些做法不是收益低,而是明确有害。它们要么降低信息密度,要么把错误先验注入模型,要么让模型在冲突约束里来回摇摆。

最危险…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/tishicijiqiao/2026062947952.html