AI Infra 全景图:Agent Framework、调度、编排、沙箱、记忆管理、Tracing 分层拆解

2026 年,几乎每家公司都在做 AI Agent。

但一个残酷的事实是:绝大多数 Agent 项目停留在Demo阶段,无法融入生产。

不是模型不行,不是算法不行——是 Infra 不行。

构建一个生产级 AI Agent 系统,你需要的远不止一个大模型和一个向量库。你需要算力调度、模型网关、数据管道、Prompt 管理、Agent 编排、工具沙箱、记忆系统、评测体系、可观测平台——还要让安全、CI/CD、成本和开发者体验贯穿每一层。

这就是完整的 AI Infra。

本文从 L0 到 L8,逐层拆解 9 层架构 + 4 个横切能力,给出工具选型和生产级最佳实践。


全景图:9 层 + 4 横切

先看全景,再逐层拆解。

纵向 9 层(从底层资源到上层应用):

层级
名称
核心问题
L0
基础资源层
模型和应用运行在哪里?
L1
模型与推理层
用哪个模型?怎么调用?怎么降本?
L2
数据与知识层
模型如何安全、准确地使用企业私有知识?
L3
Prompt 与上下文层
如何组织模型能可靠执行的输入?
L4
编排与 Agent 层
复杂任务如何被拆解、调度、执行?
L5
工具执行层
Agent 能做什么?执行边界在哪里?
L6
状态与记忆层
系统如何记住一切而不越权?
L7
评测与质量层
改动后质量是变好了还是变坏了?
L8
可观测与运营层
出了问题能否定位?成本能否归因?

横向 4 个能力(贯穿所有层):

  • 安全治理
  • CI/CD 与发布治理
  • FinOps 成本治理
  • 开发者体验(DevEx)

关键洞察:大多数团队只关注 L4(Agent Framework)+ L2(向量库),忽略了其他 7 层和 4 个横切能力。但生产级 Agent 的稳定性,恰恰取决于那些「不起眼」的基础设施。


L0:基础资源层——算力、存储、网络

L0 是所有 AI 系统的物理和云原生底座。

核心组件:

类别
技术
代表工具
计算
GPU / TPU / NPU / CPU
NVIDIA A100/H100、Google TPU v5e
编排
容器调度
Kubernetes、Ray、Slurm、Volcano、Kueue
存储
对象 / 块 / 文件
S3、MinIO、JuiceFS、Alluxio
网络
高速互联
RDMA、InfiniBand、VPC、服务网格
镜像
容器与模型
Harbor、Artifact Registry、HuggingFace Hub
安全
密钥与隔离
Secret Manager、KMS、多租户隔离

这一层回答的问题:模型和 AI 应用运行在哪里,资源如何调度,如何保证稳定、弹性和成本可控。

生产级实践:

  • 推理用 GPU 按需弹性伸缩(如 Modal、RunPod Serverless),避免空跑
  • 训练用 Ray Cluster + Kueue 做任务队列,多租户公平调度
  • 模型权重统一存到 Artifact Registry,版本化管理,禁止散落本地磁盘

L1:模型与推理层——模型服务与智能网关

L1 管理模型的来源、调用和路由,是 AI Infra 的「神经中枢」。

核心组件清单:

  • Model Gateway:
    统一入口,屏蔽不同供应商 API 差异
  • Model Router:
    根据任务类型智能选择模型
  • Inference Server:
    vLLM、TGI、TensorRT-LLM 等高性能推理引擎
  • Model Registry:
    模型版本管理、元数据、A/B 测试
  • Fallback / Rate Limit / Quota:
    容错、限流、配额
  • Cache / Batching / Streaming:
    缓存、批处理、流式输出
  • Quantization / KV Cache:
    量化和 KV 缓存优化

主流工具对比:

工具
定位
特点
LiteLLM
开源网关
100+ 模型统一接口,自动 Fallback
Portkey
商业网关
内置缓存、重试、日志、成本分析
vLLM
推理引擎
PagedAttention,高吞吐
OpenRouter
SaaS 路由
按量计费,零部署
自建网关
完全控制
可定制路由策略、合规审计

生产级最佳实践:

  1. 智能路由:
    简单任务用小模型(降本),复杂任务用大模型(保质量)
  2. 自动 Fallback:
    主模型超时或报错,自动切换备用模型
  3. 成本控制:
    设置每用户 / 每应用的 Token 预算,超额自动降级
  4. KV Cache 复用:
    相同前缀的请求共享 KV Cache,减少重复计算

L2:数据与知识层——让模型安全使用企业私有知识

L2 负责把企业数据变成模型可用的上下文,是 RAG 的基础。

完整数据管道:

数据源 → 解析/清洗 → Chunking → Embedding → 向量索引 → 检索 → Rerank → 注入 Prompt

每个环节都有技术选型:

环节
技术选项
数据源连接
API、数据库 CDC、网页抓取、文件系统
文档解析
OCR、表格解析、PDF 解析(PyMuPDF、Marker)
Chunking
固定长度、语义分割、递归分割
Embedding
text-embedding-3-large、BGE-M3、Cohere embed-v3
向量索引
Pinecone、Qdrant、Milvus、Weaviate、pgvector
混合检索
向量 + 全文 + 知识图谱
Rerank
Cohere Rerank、BGE-Reranker、Cross-Encoder
权限继承
ACL、文档级 / 字段级权限控制

向量数据库对比(2026):

数据库
部署方式
适用场景
Pinecone
全托管 SaaS
快速上线,不想管基础设施
Qdrant
自托管 / Cloud
大规模数据,性能敏感
Milvus
自托管
十亿级向量,企业级分布式
Weaviate
自托管 / Cloud
多模态 RAG,GraphQL API
pgvector
PostgreSQL 插件
已有 PG,数据量不大
ChromaDB
嵌入式
本地开发,原型验证

从朴素 RAG 到 Agentic RAG:

  • 朴素 RAG:
    Query → 检索 Top-K → 拼接 Prompt → 生成
  • Advanced RAG:
    Query Rewrite → 混合检索 → Rerank → Citation → 生成
  • Agentic RAG:
    Agent 主动决定何时检索、检索什么、是否需要二次检索

L3:Prompt 与上下文层——PromptOps 与上下文工程

L3 负责管理进入模型的上下文结构——这是最容易被忽视但最影响质量的一层。

上下文的组成:

一次 LLM 调用的输入由多个部分拼装而成:

  • System Prompt:
    角色定义、行为约束
  • Developer Prompt:
    工具说明、输出格式
  • RAG 结果:
    检索到的知识片段
  • Few-shot Examples:
    示范输入输出
  • 用户画像:
    用户偏好、历史行为
  • 会话记忆:
    最近 N 轮对话
  • User Prompt:
    用户当前问题

PromptOps 核心能力:

能力
说明
Prompt 版本管理
每个 Prompt 有版本号,可回滚
Prompt Registry
统一管理所有 Prompt 模板
Prompt 实验
A/B 测试,数据说话
Prompt 审批
修改需 Review,不能随意上线
上下文压缩
Token 超限时自动压缩/截断
Token Budget
控制每个组件的 Token 分配

主流工具:

工具
核心能力
LangSmith
Prompt Hub + Tracing + Evaluation
LangFuse
开源 Prompt 版本管理 + 追踪
PromptLayer
Prompt 版本管理 + A/B 测试
自建(Git…
— 以上为试看内容(约 40%),开通会员后阅读全文 —