本文提供了一个全面的视角,来看待如何利用模型上下文协议(MCP)实现 AI 应用新架构设计体系的落地实现,核心内容主要是以下5点:
- MCP 概念与机制。
- MCP 与 Function Calling 区别。
- MCP 本质与挑战:挑战包括系统提示词的准确性、Client 与 Server 协同、快速构建 Server、自建 dify 的痛点等。
- 解决 MCP 挑战的方法:通过 MCP Register、统一管理 Server 和 Prompt、建立效果验证体系与安全保障、设置 MCP 网关、动态服务发现、Streamable HTTP、弹性效率、可观测等手段解决。
- AI 应用架构设计新范式:MCP 推动 AI 应用架构向新范式发展,并通过 Server First 理念,提升应用性能和用户体验。
下面详细介绍之。 *—1*—
AI Agent 现状与架构
AI 大模型在商业领域的应用正成为推动创新和效率提升的核心力量。其关键在于多个AI Agent 的协作,这些 AI Agent 通过分工与合作,共同承载 AI 应用所支持的业务需求。这种协作模式不仅优化了企业运营,还展现了 AI 在解决高影响力挑战中的潜力。
目前 AI Agent 与各种 Tools(业务服务接口)、Memory(存储服务接口)以及 LLMs(大语言模型)的交互主要通过 HTTP 协议实现。除了 LLMs 基本遵循 OpenAI 范式外,与其他 Tools 和 Memory 的交互需要逐一了解它们的返回格式进行解析和适配,这增加了开发的复杂性。当一个 AI 应用包含多个 AI Agent,或者需要与多个业务服务接口和存储服务接口交互时,开发工作量显著增加,主要体现在以下三个方面:第一、寻找合适的接口
- 寻找三方服务接口。
- 在公司内部寻找合适的服务接口。
- 如果找不到,就需要自行开发接口。
第二、解析接口返回格式
- 无论是三方服务接口还是公司内部的服务接口,返回格式可能千差万别,需要逐一了解和解析。
第三、编排多个 AI Agent
- 使用如 Dify 这类流程可视化的工具辅助编排,虽然减轻了一些工作量,但复杂度依然较高,且在运行效率和性能方面存在瓶颈。
- 通过编码方式编排(比如:使用 Spring AI Alibaba 或 LangChain 等),虽然性能更优,但复杂度更高,编排效率和灵活性不足。
因此,目前许多 AI应用只包含少数几个 AI Agent,甚至很多应用背后只有一个 AI Agent。这也是目前 AI 应用背后的 AI Agent 仍处于第一阶段(Siloed, Single-Purpose Agents)的原因。为了使 AI Agent 进入第二阶段(Platform-Level Agents),我们使用云原生 API 网关作为统一的接入层,通过网关的三种不同角色,解决了部分复杂度问题:第一、作为南北向流量网关
- 统一管理 AI Agent 的入口流量,核心功能包括转发、负载均衡、鉴权认证、安全和流控等。
第二、作为 AI 网关
- 代理各类 LLMs,向 AI Agent 屏蔽了繁杂的接入,并解决了许多生产级问题,比如:多模型切换、模型 Fallback、多 API Key 管理、安全和联网搜索等。
第三、作为东西向网关
- 统一管理来自不同源(ACK、ECS、函数计算FC、SAE、三方服务)的各类服务,供 AI Agent 使用。
然而,上述方法仅解决了部分复杂度问题,更核心的寻找接口和解析接口的问题仍未得到解决。直到 MCP(Model Context Protocol)的出现,我们看到了真正通往第二阶段(Platform-Level Agents)的道路,甚至有望触及第三阶段(Universal Agents, Multi-Agents)。 *—2*—
MCP 架构设计剖析
1、MCP 是什么?MCP(模型上下文协议,Model Context Protocol)是由Anthropic(Claude 的开发公司)开发的开源协议,旨在为大语言模型(LLM)提供一种标准化的方式,以便它们能够连接到外部数据源和工具。它就像是 AI 应用的“通用接口”,帮助开发者构建更灵活、更具上下文感知能力的 AI 应用,而无需为每个 AI 模型和外部系统组合进行定制集成。MCP 的设计理念类似于 USB-C 端口,允许 AI 应用以一致的方式连接到各种数据源和工具,如文件、数据库、API 等。
MCP 包含三个核心概念:第一、MCP Server
- 基于各语言的 MCP SDK 开发的程序或服务。
- 它通过某种机制将现有的程序或服务转换为 MCP Server,使其能够与 AI 应进行交互。
第二、MCP Tool
- MCP Tool 属于 MCP Server,一个 MCP Server 可以有多个 MCP Tool。
- 可以将其理解为一个类中有多个方法,或者一个服务中有多个接口。
第二、MCP Client
- 当一段代码、一个 AI Agent 或一个客户端基于 MCP 的规范去使用或调用 MCP Server 中的 MCP Tool 时,它就被称为 MCP Client。
2、MCP 的运作机制要真正理解 MCP,我们需要深入其运作机制,这不仅能揭示 MCP 调用方式与传统 HTTP 调用方式的差异,还能让你明白为何 MCP 能够助力 AI Agent 迈向第二阶段。
以开发一个获取时间的 AI Agent 为例,用户只需提问“现在几点了?”即可。假设我们已有一个处理时间的 MCP Server,其中包含两个 MCP Tool:一个用于获取当前时区,另一个用于获取当前时间。
基于 MCP 的调用过程分为六个核心步骤:
第一、用户提问
- 用户向 AI Agent 提问“现在几点了?”。此时,AI Agent 作为 MCP Client,将用户问题连同处理时间的 MCP Server 及 MCP Tool 信息一并发送给 LLM。
第二、LLM 推理
- LLM 接收到信息后,根据用户问题和 MCP Server 信息,筛选出最合适的 MCP Server 和 MCP Tool 来解决问题,并将结果反馈给 AI Agent(MCP Client)。LLM 返回的信息可能是:“使用 time MCP Server 中的 get_current_time MCP Tool,它能解决用户的问题。”
第三、调用 MCP Tool
- AI Agent(MCP Client)依据 LLM 的建议,调用 time MCP Server 中的 get_current_time MCP Tool,获取当前时间。
第四、返回结果
- time MCP Server 将当前时间的结果返回给 AI Agent(MCP Client)。
第五、内容规整
- AI Agent(MCP Client)将用户问题和从 time MCP Server 获取的结果再次提交给 LLM,请求 LLM 结合问题和答案规整内容。
第六、最终反馈
- LLM 将规整后的内容返回给 AI Agent(MCP Client),AI Agent 再将结果原封不动地返回给用户。
在整个 MCP 调用过程中,MCP Server 及 MCP Tool 的信息至关重要。从第一步和第二步可以看出,这些信息为 LLM 提供了解决问题的关键线索。这些信息本质上就是 MCP 中的 System Prompt,其核心作用是为 LLM 提供清晰的指导,帮助其更好地理解用户需求并选择合适的工具来解决问题。
3、MCP System PromptMCP(模型上下文协议)与传统协议定义不同,它并没有固定的数据结构。其核心在于通过自然语言清晰地描述 MCP Serve r和 MCP Tool 的功能及作用,让大语言模型(LLM)通过推理来选择最合适的 MCP Server 和 MCP Tool。因此,MCP 的本质仍然是提示词工程(Prompt Engineering)。
以下是一些关键的示例和步骤解析:
第一、 MCP Client(Cline)中的 System Prompt
Cline 是一个 MCP Client,其 System Prompt 对 MCP Server 和 MCP Tool 都有明确的描述。比如:它会详细说明每个 MCP Server 的功能以及其中包含的 MCP Tool 的作用。这种描述为 LLM 提供了足够的上下文,使其能够理解每个工具的用途。
上图告诉 LLM:
- 告诉 LLM 你有一堆工 具可以用。
- 告诉 LLM 每次你只能选一个工具用。
- 告诉 LLM 工具是通过 XML 描述定义的。并详细描述了 XML Tag 的定义。并给出了样例。本质就是告诉 LLM 你选择完后该返回什么样的格式。
上图告诉 LLM:
- 向 LLM 解释了什么是 MCP。
- 对每个 MCP Server 和 MCP Tool 做了详细描 述。包括传参格式。
第二、流程第一步:发送问题和 System Prompt
在调用流程的第一步,用户的问题(如“现在几点了?”)和 System Prompt 一起被发送给 LLM。System Prompt 的作用是为 LLM 提供清晰的指导,帮助其理解用户问题的背景和可用的工具。
第三、流程第二步:LLM 返回解决方案
在第二步,LLM 根据用户问题和 System Prompt 中的信息,推理出最合适的 MCP Server 和 MCP Tool,并返回明确的解决方案。比如:LLM 可能会返回:“使用 time MCP Serve r中的 get_current_time MCP Tool 来解决用户的问题。”并以 XML 格式 返回给 Client/Agent。
通过这种方式,MCP 利用自然语言描述和 LLM 的推理能力,动态地选择和调用最适合的工具,从而实现灵活且高效的 AI 应用开发。
4、MCP 与 Function Calling 区别通过前面的介绍,相信大家对 MCP 有了清晰的认识。MCP 是否解决了找接口和解析接口的问题呢?答案是肯定的。因为这两个任务都交给了 LLM(大语言模型)来完成。
第一、LLM 负责为 AI Agent 找到最合适的接口。
第二、AI Agent 调用接口时,无需解析返回结果,而是将结果原封不动地交给LLM。
第三、LLM 结合用户问题和接口返回的结果,进行内容规整处理。
那么,MCP 与 LLM 的 Function Calling 有什么区别呢?核心区别在于是否绑定特定的模型或模型厂商:
第一、MCP 是通用协议层的标准,类似于“AI 领域的 USB-C 接口”,定义了 LLM 与外部工具/数据源的通信格式,但不绑定任何特定模型或厂商。它将复杂的函数调用抽象为客户端-服务器架构,使得不同模型和工具之间的交互更加灵活和通用。
第二、Function Calling 是大模型厂商提供的专有能力,由大模型厂商定义,不同厂商在接口定义和开发文档上存在差异。它允许模型直接生成调用函数,触发外部 API,依赖模型自身的上下文理解和结构化输出能力。
例如,LLM Function Calling 需要为每个外部函数编写一个 JSON Schema 格式的功能说明,并精心设计一个提示词模板,才能提高 Function Calling 响应的准确率。如果一个需求涉及几十个外部系统,那么设计成本将是巨大的,产品化成本极高。
而 MCP 统一了客户端和服务器的运行规范,并且要求 MCP 客户端和服务器之间也统一按照某个既定的提示词模板进行通信。这样,通过 MCP 可以加强全球开发者的协作,复用全球的开发成果,降低开发成本,提高开发效率。
5、MCP 的本质与挑战通过前面的讨论,我们可以总结 MCP(模型上下文协议)的本质:MCP 并非一个固定的数据格式或结构,而是系统提示词与 MCP Server 和 LLM 之间协同关系的结合。它通过自然语言描述 MCP Server 和 MCP Tool 的功能,让 LLM 能够推理出最适合的工具来解决问题,从而解决了找接口和解析接口的问题。
然而,将 MCP 引入企业级生产应用时,会面临诸多挑战:
第一、描述 MCP 信息的系统提示词的挑战
- 系统提示词的安全性:系统提示词是 MCP 的核心,如果被污染,LLM 可能会被误导,选择错误甚至存在安全漏洞的 MCP Server 和 MCP Tool,从而导致整个 MCP 流程瘫痪,给 AI 应用带来巨大风险。
- 系统提示词的管理:当 MCP Server 或 MCP Tool 更新时,系统提示词也需要相应地进行版本管理,以确保 LLM 能够获取最新的工具信息。
- 系统提示词的调试与实时生效:系统提示词没有标准定义,每个企业都可以自定义模板。由于提示词需要反复调试,因此需要一种机制能够快速调整并实时生效。
- 系统提示词的 Token 消耗:如果 MCP Server 和 MCP Tool 数量众多,系统提示词会变得非常长,消耗大量 Token,增加成本。因此,需要一种机制基于用户问题预筛选 MCP Server 和 MCP Tool 的范围,减少 Token 消耗,提高效率。
第二、MCP Client 与 MCP Server 之间协同关系的挑战
- MCP Client 的稀缺性:目前市面上的 MCP Client(比如:Cline、Claude、Cursor 等)数量有限,且大多基于 C/S 架构,仅支持 SSE 协议。这种有状态的协议存在诸多弊端,比如:不支持可恢复性、服务器需维持长期连接、仅支持单向通信等,难以与企业级 AI 应用结合。
- 现存业务的转换难题:开发 MCP Server 依赖于特定语言的 MCP SDK (目前仅支持 Python、Java、TS、Kotlin、C#)。对于使用 Go 或 PHP 等其他技术栈的企业,转换为 MCP Server 的工作量巨大,且不现实。
- MCP Server 的统一管理:企业可能拥有自建的 MCP Server、第三方的 MCP Server 以及通过某种机制转换而来的 MCP Server。需要一个类似 MCP Hub 或 MCP 市场的平台来统一管理这些 Server,方便 MCP Client 使用。
- 企业级应用中的安全与权限问题:在企业级应用中,身份认证、数据权限和安全防护是关键问题。在 MCP 的协同模式下,如何实现这些功能是亟待解决的挑战。
总之,尽管 MCP 为 AI 应用开发带来了灵活性和效率提升,但在企业级应用中,仍需克服系统提示词的安全性、管理、调试以及 MCP Client 与 MCP Server 之间的协同关系等多方面的挑战。
*—3*—
AI 应用架构设计新范式
为了解决 MCP 在企业级应用中面临的诸多挑战,对 AI Agent 的架构进行了深度重构。通过在云原生 API 网关和注册配置中心 Nacos 中引入 MCP 增强能力,成功解决了大部分挑战点。同时,分别针对快速开发 MCP Server 和提升开源 Dify 性能的问题提供了有效解决方案。这些举措共同构建了一个基于 MCP 的 AI 应用开发新范式,推动了 AI 应用的高效开发与部署。
云原生 API 网关与 Nacos 的 MCP 增强:通过这两个产品的增强能力,解决了系统提示词的安全性、管理、调试以及 MCP Client 与 MCP Server 之间的协同关系等核心挑战。云原生 API 网关提供了强大的流量管理和安全防护功能,而 Nacos 则在服务发现和配置管理方面发挥了关键作用,确保了 MCP Server 和 LLM 之间的高效协同。通过这些增强能力的实现,解决了 MCP 在企业级应用中的关键挑战。3.1、AI 应用架构新范式剖析AI 应用架构结合 MCP,我们定义了 AI 应用架构的新范式。
一个云原生 API 网关三种角色,具备统一的管控底座,同时又实现各角色的协同调度。
Nacos 发挥注册中心优势,增加 MCP Server 的注册能力,实现普通服务和 MCP Server 的统一管理,结合网关实现现存业务0改造转换为 MCP Server。
以下是对图中8步核心调用链路的解析:第一步用户请求:用户向 AI 应用发起请求,请求流量首先进入流量网关(云原生 API 网关)。第二步请求转发:云原生 API 网关维护管理不同类型的 AI Agent 的 API 或路由规则,将用户请求转发至对应的 AI Agent。第三步获取 MCP 信息:AI Agent 在需要获取数据时,向 MCP 网关(云原生 API 网关)请求获取可用的 MCP Server 及 MCP Tool 信息。第四步 LLM 交互(可选):MCP 网关可能维护大量 MCP 信息,借助 LLM 缩小 MCP 范围,减少 Token 消耗,向 AI 网关(云原生 API 网关)发请求与 LLM…