AI Infra 全景图:Agent Framework、调度、编排、沙箱、记忆管理、Tracing 分层拆解
2026 年,几乎每家公司都在做 AI Agent。
但一个残酷的事实是:绝大多数 Agent 项目停留在Demo阶段,无法融入生产。
不是模型不行,不是算法不行——是 Infra 不行。
构建一个生产级 AI Agent 系统,你需要的远不止一个大模型和一个向量库。你需要算力调度、模型网关、数据管道、Prompt 管理、Agent 编排、工具沙箱、记忆系统、评测体系、可观测平台——还要让安全、CI/CD、成本和开发者体验贯穿每一层。
这就是完整的 AI Infra。
本文从 L0 到 L8,逐层拆解 9 层架构 + 4 个横切能力,给出工具选型和生产级最佳实践。
全景图:9 层 + 4 横切
先看全景,再逐层拆解。
纵向 9 层(从底层资源到上层应用):
横向 4 个能力(贯穿所有层):
安全治理 CI/CD 与发布治理 FinOps 成本治理 开发者体验(DevEx)
关键洞察:大多数团队只关注 L4(Agent Framework)+ L2(向量库),忽略了其他 7 层和 4 个横切能力。但生产级 Agent 的稳定性,恰恰取决于那些「不起眼」的基础设施。
L0:基础资源层——算力、存储、网络
L0 是所有 AI 系统的物理和云原生底座。
核心组件:
这一层回答的问题:模型和 AI 应用运行在哪里,资源如何调度,如何保证稳定、弹性和成本可控。
生产级实践:
推理用 GPU 按需弹性伸缩(如 Modal、RunPod Serverless),避免空跑 训练用 Ray Cluster + Kueue 做任务队列,多租户公平调度 模型权重统一存到 Artifact Registry,版本化管理,禁止散落本地磁盘
L1:模型与推理层——模型服务与智能网关
L1 管理模型的来源、调用和路由,是 AI Infra 的「神经中枢」。
核心组件清单:
- Model Gateway:
统一入口,屏蔽不同供应商 API 差异 - Model Router:
根据任务类型智能选择模型 - Inference Server:
vLLM、TGI、TensorRT-LLM 等高性能推理引擎 - Model Registry:
模型版本管理、元数据、A/B 测试 - Fallback / Rate Limit / Quota:
容错、限流、配额 - Cache / Batching / Streaming:
缓存、批处理、流式输出 - Quantization / KV Cache:
量化和 KV 缓存优化
主流工具对比:
| LiteLLM | ||
| Portkey | ||
| vLLM | ||
| OpenRouter | ||
| 自建网关 |
生产级最佳实践:
- 智能路由:
简单任务用小模型(降本),复杂任务用大模型(保质量) - 自动 Fallback:
主模型超时或报错,自动切换备用模型 - 成本控制:
设置每用户 / 每应用的 Token 预算,超额自动降级 - KV Cache 复用:
相同前缀的请求共享 KV Cache,减少重复计算
L2:数据与知识层——让模型安全使用企业私有知识
L2 负责把企业数据变成模型可用的上下文,是 RAG 的基础。
完整数据管道:
每个环节都有技术选型:
向量数据库对比(2026):
| Pinecone | ||
| Qdrant | ||
| Milvus | ||
| Weaviate | ||
| pgvector | ||
| ChromaDB |
从朴素 RAG 到 Agentic RAG:
- 朴素 RAG:
Query → 检索 Top-K → 拼接 Prompt → 生成 - Advanced RAG:
Query Rewrite → 混合检索 → Rerank → Citation → 生成 - Agentic RAG:
Agent 主动决定何时检索、检索什么、是否需要二次检索
L3:Prompt 与上下文层——PromptOps 与上下文工程
L3 负责管理进入模型的上下文结构——这是最容易被忽视但最影响质量的一层。
上下文的组成:
一次 LLM 调用的输入由多个部分拼装而成:
- System Prompt:
角色定义、行为约束 - Developer Prompt:
工具说明、输出格式 - RAG 结果:
检索到的知识片段 - Few-shot Examples:
示范输入输出 - 用户画像:
用户偏好、历史行为 - 会话记忆:
最近 N 轮对话 - User Prompt:
用户当前问题
PromptOps 核心能力:
主流工具:
| LangSmith | |
| LangFuse | |
| PromptLayer | |
| 自建(Git… |