大家好,我是 Jomy。过去两年,大家一说 AI Infra,第一反应基本都是模型层面的东西。更准确地说,大家讨论的大多是 LLM Infra。
如果粗略看,最底层是算力和 GPU,典型代表是英伟达。再往上是模型和模型服务:OpenAI、Anthropic 更像闭源全生态平台,GLM、Kimi、DeepSeek、Qwen 则代表开源模型生态。再往上,是把模型做成 API、托管和推理服务的平台,比如 Fireworks、Together、Fal。
LLM Infra = GPU + 模型训练 + 模型推理。
这条链条当然很重要,也非常热。LLM Infra 很重,资本重、人才重、工程也重,肯定还是大生意。
但我的判断是:AI Infra 的中心正在迁移。
因为模型这个东西,长期看很像电力。
电很重要,但你用水电、火电、风电,最后只要稳定、便宜、好用,用户并不那么关心电是哪里来的。模型 API 也越来越像这样。很多开发者现在切模型,本质上就是换一个 API URL和一个 key。
模型会一直重要,但只靠模型 API,长期利润率一定会被压薄。因为它无状态,迁移成本低,又是重资本投入,还会被开源模型和价格竞争持续冲击。
模型公司当然还会很强,OpenAI、Anthropic 也会继续往前走。但如果只停在模型层,我们其实解释不了 AI 真正的大趋势:AI 正在从回答问题,走向接管任务。
只有 LLM 的时候,AI 主要还是问答、写作、搜索工具。Agent 出现之后,AI 开始进入客服、销售、研发、运营这些岗位里的信息工作。
这就是为什么我一直说:Agent 盯上的不是软件预算,而是工资表。SaaS 是辅助人,Agent 是替代一部分人的信息工作,所以它面对的市场会比传统软件大很多。
所以,从 AI Infra 到 Agent Infra,这个过渡其实很自然。
## Agent Infra
进入 Agent 时代后,我觉得Infra需要一个新的公式:
Agent Infra = LLM Infra + Harness Infra + Context Infra
LLM Infra 解决的是:模型从哪里来。它包括 GPU、模型训练和模型推理,是整个 AI 的基础能力层。
Harness Infra 解决的是:怎么把模型变成稳定可用的 Agent。它包括工具调用、文件读写、任务循环、失败恢复等能力。没有 Harness,模型就只是一个裸 LLM,很难稳定完成复杂任务。
这个方向现在已经很多人在做。Codex、Claude Code 都是典型的 Harness。DeepSeek 最近也被报道在组建 Harness 团队,目标就是做类似 Claude Code 的 Agent 产品。开源里也有 OpenClaw、Hermes 这些项目。
模型厂做 Harness 是很自然的。因为模型和 Harness 可以互相优化。模型知道 Harness 怎么组织工具,Harness 也知道模型怎么调用工具,两边配合,效果会比裸模型好很多。
但 Harness Infra 本质上还是一个工程化很重的东西。长期看,大家都会支持类似的工具调用、文件读写、任务循环和失败恢复,形态会越来越趋同。
最近 Claude Code 针对国内用户的负优化,也提醒了大家:我们国内需要一个真正好用、可控的 Agent Harness,既能把模型能力发挥出来,也能摆脱海外这些恶心事。
我们最近也开源了 Zleap-Agent,一个面向本地小模型的Agent Harness。这个项目还比较早期,还在快速升级中。我们最重要的一个设计是 workspace:不要把所有东西都塞进一个越来越长的 prompt,而是让 Agent 像进入不同工作台一样,在不同 workspace 里看到不同的工具、上下文和记忆。
我希望 Zleap-Agent 里 workspace 的概念,也可以给行业里做 Agent Harness 的朋友一些启发。
不过,Harness 只是 Agent Infra 的一部分。现在还比较空白的,是 Context Infra。
## Context Infra
Agent 跑得好不好,很大程度上取决于上下文好不好。
大家用 Codex、Claude Code、Cursor 的时候应该都有体感。你让它做…