AI进企业,先要建网关:企业 AI 的基建能力清单
引子
2025 年企业 AI 的行业叙事,被一组庞大的数字占据。
黄仁勋在 GTC 上喊"再加几千亿",Altman 抛出 5000 亿美元的 Stargate 计划,阿里云宣布三年投入 3800 亿做 AI 基建。
算力成了叙事中心,所有叙事都在暗示同一件事:买得多,赢得快。
然而 BCG 在 2025 年的企业 AI 研究中,则给出了完全不同的数字。成功的 AI 落地,资源分配的权重是 70% 人和流程、20% 技术栈(含算力在内)、10% 算法本身——把预算全砸在买卡上,最多覆盖 20% 的权重。
Menlo Ventures 的报告则显示,企业 GenAI 支出里基础设施层捕获了 180 亿美元,占总支出的一半,同比翻倍。这 180 亿里其中一部分没花在买卡上,花在了"治理"——也就是网关及其周边组件。
对照之下,AI在企业中落地的问题并不在算力够不够,而是在算力进入企业之后,谁来管它的流向。
这道关,就是内部 AI 网关。
为什么网关是AI落地企业的第一站
企业大规模推行 AI 时,所有员工都会以不同程度访问外部 AI 推理服务。问题在于,员工的访问路径通常是分散的。有人用公司统一采购的账号,有人用自己在淘宝、闲鱼买的低价 API 中转站,有人直接用 ChatGPT、Claude 的官方订阅。分散访问带来的风险结构,是企业 AI 落地最容易被低估的早期问题。
第一组风险是数据外泄。
淘宝、闲鱼上的低价 API 中转站运营方有完整的技术能力从缓存里还原用户的对话内容。员工以为自己在省钱,实际上把公司代码、客户数据、内部文档以明文形式递给了中转站运营方。这种绕过公司管控私自接外部 AI 服务的连接,业内通常称为"野连接"。
第二组风险是成本失控。
员工分散使用提供的AI服务时,公司无法统计真实的 token 用量、无法跟供应商对账、无法做预算管控。一旦 AI 编程工具的渗透率起来,token 消耗会以非线性速度增长。
在笔者与客户的一次讨论中,对方展示了公司内部 AI 编程agent token用量的真实曲线:前3个月,公司范围内Top10用户日均 token 用量均未超过 1 亿,于是公司采取了tokenmaxxing策略,"token不限量,鼓励使用";连续在接下来3个月的推广后,部分员工开始使用 agent loop 框架(如 Hermes、小龙虾)执行定时自动化任务,甚至是自主开发工作,于是个人agent的单日 token量就 飙到 8~20 亿,甚至出现单个 agent 三小时token用量就超过 2000 元的情况。
第三组风险是审计缺失。
当公司需要回溯"某段代码是不是 AI 生成的""某次客户数据外泄是不是通过 AI 渠道完成的"时,分散访问根本无法追溯。受监管行业(金融、医疗、法律)的合规要求会直接卡在这一层。
网关服务(Gateway)是这三组风险的统一解决方案。它部署在公司内网与外网推理服务之间,作为统一流量入口——所有 AI 调用必须经过网关,由网关统一对外、统一认证、统一审计。员工没有"绕开"的必要,因为公司提供的更快、更稳,通常也比淘宝中转站更便宜。
这一思路与近年来几份行业研究的判断一致。
麦肯锡《State of AI 2025》的判断:"所有人都采用了 AI,几乎没人重设计组织来用它。"重设计组织的第一步,不是改架构图,是改流量出口。Menlo Ventures 2025 企业 GenAI 报告显示,基础设施层捕获了 180 亿美元,占 GenAI 总支出的一半(同比翻倍)——这笔钱里其中一部分花在了"治理",也就是网关及其周边组件上。
企业 AI 落地的第一笔钱,不应该花在买卡、买推理服务上,而是应该花在网关这道流量管控设施上。
AI网关的核心功能:一份企业内部 AI 基建的能力清单
把企业的 AI 网关拆开看,里面装着的不是单一功能,而是 5-7 个相互关联的子系统。这套子系统恰好是一份完整的"企业 AI 内部基建清单"。
统一账号体系与认证。
员工使用 AI agent 时不再直接对接外部供应商账号,由公司网关统一发放账号、统一验证身份。这一层背后是企业 SSO、IAM、RBAC 等身份基础设施。网关在身份层做的是把"员工身份"翻译成"AI 服务身份",让供应商看到的是公司账号而不是个人账号。
流量计算与对账。
所有 token 用量按模型、按上行下行、按缓存命中分维度统计,月底跟供应商对账。这一层对应的是计费系统、成本中心、AP(Accounts Payable)流程。糊涂账是企业 AI 第一个失血点——一旦供应商报的数和公司自己统计的对不上,谈判和预算都失去依据。
连接池管理。
网关维护多个 API key(来自不同供应商),放进池子里统一调度,削峰填谷,控制并发数。同样的算力预算能撑住更多员工同时使用。这一层背后是流量调度、负载均衡、断路器等通用基建组件。
模型智能适配。
根据 prompt 复杂度自动选择模型——简单任务路由到便宜模型,复杂任务才上贵模型。这是降本效果最显著的一层,也是工程难度最大的一层。它背后需要的是评估体系、A/B 测试框架、模型质量监控。
数字身份证与可追溯性。
识别员工是否使用了未经公司认证的 AI 服务(如私人中转站),通过数字身份证在防火墙上拦截未经验证的连接。这一层对应的是零信任架构、设备指纹、网络访问控制(NAC)。
可观测性。
企业中纷繁复杂、高频发生的agent信息流是AI原生组织的常态,每条agent信息流去了哪、什么时候、出了什么问题——全有日志和监控。这一层背后是 CloudWatch、Prometheus、Grafana、ELK 等可观测性栈,以及 SOC 2 / ISO 27001 等审计要求。
内容审查。
在网关之上叠加一层 LLM,专门审查 prompt 和返回内容,识别敏感字段、可疑意图、潜在数据外带。这一层是"用模型审模型",是 AI 时代内容安全的核心,也是成本最高的一层。
参考 AWS、Azure、阿里云的官方参考架构,企业级AI网关服务的架构思路已然清晰。
AWS 的 Multi-Provider GenAI Gateway 参考架构以 LiteLLM Proxy 为核心,外面套 Amazon API Gateway 做认证限流,后面接 DynamoDB 做 token 缓存,CloudWatch 做可观测性,IAM 做细粒度访问控制。Azure 的 AI Foundry Gateway 背靠 API Management,提供限流、缓存、token 管理、负载均衡、可观测性。阿里云有 AI 网关加开源的 Higress。
这三家云厂商的企业级AI基建架构组件清单内容几乎一致,把他们作为行业标杆可以窥见一个企业级AI落地需要的架构考量。
从客户端到 LLM 端点,token流量要经过如下层级:
客户端是多种来源——IDE 插件、Coding Agent、普通客户端——但都要汇聚到同一道网关。网关内部从入口到端点,五层依次串接,每一层都对应企业内部一段基建账:身份基建、计费系统、流量调度、存储、可观测性栈、供应商管理。搭一个网关的过程,就是把这些基建挨个补一遍的过程。
失控的成本曲线与标杆案例
企业 AI 落地有一条几乎所有人都重走的曲线。
曲线的前半段往往是温情脉脉的:AI 编程工具刚铺开,员工试一试,每天几百万 token,账单看起来友好。之后的某个时间节点,部分员工发现 agent loop 框架可以跑定时自动化任务,曲线开始指数化飙升。
agent loop 干的事情很简单——让 AI agent 反复执行某个任务直到完成。但"反复"两个字在人那里是几十次,在 agent 那里是几千次几万次。每一次循环都在烧 token,每一次烧的都是公司的钱。
Uber 是这条失控曲线的典型样本——因按量计费模式和任务复杂度上升,Uber 在 4 个月内即耗尽全年 AI 预算。马斯克把 AI 订阅费天花板推到了 300 美元/月——企业要么接受这个量级的支出,要么自己分流到便宜模型。
三星电子是另一类内容风险样本。
2023 年初引入 ChatGPT 不到 20 天,三星电子就发生了三起半导体机密外泄事件——员工把半导体设备测量数据、源代码、生产瑕疵信息直接输入 ChatGPT 寻求优化建议。三星紧急全面禁用 ChatGPT 和 Bard。三年后剧情反转——三星从"全面封杀"转为"All-in",成为 OpenAI 最大企业客户之一。这条 U 型曲线本身是企业 AI 落地的一个完整剧本:仓促上马 → 撞墙 → 全面禁用 → 思考治理 → 建闸 → 放开使用。
Air Canada 是 AI 客服虚假承诺造成实际商业后果的标志案例。
客服机器人给乘客虚假承诺,公司被告上法庭。媒体系统梳理的 54 起 AI 失控事件核心结论:如果企业自身数据没有打通、缺乏清晰流程,盲目引入 Agent 只会将"混乱"自动化;由于缺乏可靠的输出验证机制,大多数企业最终只能无奈退回原点,重新依赖人工。
国内头部金融机构则更像是是这条曲线的"成年期"样本。
招商银行 2025 年大模型日均 token 调用 260 亿,同比增长 10.1 倍;自研"研发智能体 DevAgent"基于多轮交互模式;通过"云+AI+中台"科技底座建立完整大模型技术能力体系,跨境金融业务流程压缩至原来的 1/3。工商银行金融科技投入 285 亿元,业务领域落地 500+ AI 应用,风险模型超 100 个。
JPMorgan Chase 是把原本可能失控的成本曲线走成利润的标杆。
自研的 LLM Suite 不是单一模型,而是多模型门户——首发集成 OpenAI,后续接入多家第三方供应商。规模上覆盖 450+ 个 GenAI 用例,2026 年目标扩展到 1000+;用例涵盖欺诈检测、信贷建模、交易研究、客户个性化、后台自动化、软件开发(工程团队效率提升 10-20%)、财富顾问生产力等。ROI 上,AI 年化业务价值 15 亿美元,年化 ROI 增长 30-40%,节省人工小时数 360,000+。LLM Suite 用户规模 200,000+,约半数为高频用户。
JPMC 的关键不是接了多强的模型——它接的是 OpenAI 和第三方模型,跟好多公司一样——而是把治理放在了第一位。LLM Suite 的治理结构包括:AI 治理委员会(处理算法偏见、网络安全、数据安全)、董事会风险委员会(审批主要风险政策,审查 AI/模型风险框架)、模型风险管理团队(专门负责 AI 系统的模型风险)、AI 合规职能(作为第三方/SaaS 和托管 AI 平台的独立挑战者)、数据出口控制(禁止公共生成式 AI 工具,所有访问通过受控 LLM Suite 门户)。LLM Suite 获得 American Banker 2025 年度"创新奖"。
同一条曲线,结局完全不同。
大型企业之间的AI成本差距不在曲线本身,在曲线之外——企业有没有网关、有没有配额、有没有模型适配策略、有没有内容审查、有没有治理委员会。
开源方案 vs 商业产品
网关这道流量管控设施,立的方式有两种:自己搭,或者买现成。
听上去是个二选一的选择题,实际是个伪装成选择题的算账题——算的是钱、时间、坑、人四样东西。
主流开源 AI 网关对比
网关方案 | 模型支持 | 核心优势 | 部署方式 | 适用场景 |
LiteLLM | 100+ 模型 | Python 生态、SDK 强、故障转移 | Docker / pip | 开发者团队、快速接入 |
Portkey | 200+ 模型 | 企业特性、可观测性、缓存 | Docker + license key | 中大型企业、需数据本地化 |
OneAPI | 25+ 供应商 | 中文社区活跃、管理界面完善 | Docker 私有化 | 国内团队、中小型企业 |
New API | OneAPI 超集 | 多模态(MJ/Suno/TTS)、灵活计费 | Docker 私有化 | 需要多模态 + 计费体系 |
APIPark | 多模型 | Apache 2.0 免费商用、API 开发平台 | Docker / K8s | 需 API 全生命周期管理 |
Sub2API | Claude / Codex / Gemini CLI 订阅 | 订阅资源转 API、池化共享 | Docker / 自托管 | 团队共享订阅、合规边缘场景 |
国内企业自建的网关解决方案中,OneAPI 与 LiteLLM 加起来占开源大模型聚合网关 82% 的部署份额,基本成为了行业事实标准。
OneAPI 在 GitHub 上有 35K+ Star、6.7K Fork,用 Go 语言写成,单文件即可运行。New API 是 OneAPI 的超集,补充了 Midjourney、Suno、Rerank、TTS 等多模态和灵活计费。
Sub2API 走的是另一条路——聚合对象不是 API 供应商而是订阅资源(Claude Pro、Codex、Gemini CLI),合规上有边缘风险,但成本上对小团队极有吸引力。
中小公司常在多个中转站注册账号,催生了多站点聚合方案:MetAPI 把分散的 New API / One API / Sub2API 站点汇聚成一个 API Key、一个…