面向 LLM 的架构设计:什么是真正的 AI Friendly 架构?
2025年成为AI智能体(Agentic AI)元年,传统工程架构面临与AI"不确定性"的冲突。AI Friendly架构通过三范式实现演进:1)确定性→概率性,将输出收敛至安全区间;2)结构化→语义化,基于意图而非格式响应;3)静态→动态,从规则转向规划。核心能力包括Multi-Agent系统、Context Engineering(上下文工程)、AI Friendly API及AI可观测体系。实际应用中,AI审核准确率达95.7%,AI答疑系统CogentAI问题解决准确率超98%,为业务带来80%以上效率提升。架构升级需根据业务深度需求,避免"为用AI而用AI"。
引言
25年伊始,智源研究院提出了《十大AI技术趋势》,2025年成为AI智能体(Agentic AI)的元年,更通用、更自主、深入工作与生活场景的智能体成为各行各业争相追逐的目标。
站在新年,回望AI应用的发展历程,随着一些大模型明星产品的出现,可以清晰的感知到行业对于AI应用形态的理解也已经越发深入:
从Chatbot、Copilot到AI Agent,AI从提供建议,跨度到可以辅助完成任务;
随着AI Agent应用编排框架不断收敛、Agentic AI概念的提出,从更强调产品概念的AIAgent,跨度到可以独立完成任务,集自主规划、决策、执行于一身,更强调应用智能程度的Agentic AI。
可以预见,此后也将看到智能化程度更高、对业务流程理解更深的多智能体系统在应用侧的落地,而对处于时代弄潮之巅的AI工程师来说,如何将工程架构完成从传统工程架构向AI Firendly架构的转变,已然成为进入AI时代的重要门票。
PS:由于笔者所属工作职责为业务开发,所以接下来会以我所在营销业务中探索相对深入的AI应用场景(答疑、审核、建联)为例,循序渐进的阐述AI Friendly架构的设计理念,并结合所使用的ideaLab平台的基建能力,讲解AI Friendly架构中核心能力的实现过程。全篇接近万字手搓内容,也参考了很多优秀的文章,希望对正在面临AI应用转型而无从下手的读者们有所帮助。
冲突:当 AI 遇见传统工程架构
传统的工程架构按照服务主体的不同,通常可以划分为业务型架构和平台型架构,这一点在曾经贯彻“大中台小前台”战略的阿里来说,表现的尤为明显。
对于需要提供平台服务的“大中台”来说,由于需要承接集团内不同的业务场景,其系统设计核心是领域模型的标准化与业务流程的抽象化,通过统一抽象实现新增功能可配置、可组合、可沉淀,使相似场景的支撑效率呈“摩尔定律”式提升,从而达到80%~90%功能的复用。
集团内典型的中台如:商品发布系统、营销报名系统等,均是采用这种平台型架构设计思想来实现的,架构示例图如下:
对于需要快速发展的“小前台”来说,快速响应、快速上线、快速试错的敏捷开发方式,注定了其系统的架构设计不会如平台型这般复杂,简单成熟的MVC便成为大多数业务型系统所使用的架构——在基础的分层思想上,通过引入恰当的设计模式和数据结构来支持业务的快速发展。典型的业务型架构示例图如下:
但无论是基于DDD思想的平台型架构还是基于MVC思想的业务型架构,在设计之初,我们其实都是秉承着“以人为本”的理念去进行设计的,这就决定了我们的系统更趋向于处理确定性的逻辑,即要求——输入格式规范、输出内容可预测、基于预定义的流程来执行、依赖于规则和配置。
但AI天生具有概率性和涌现性,引入AI的系统也应该具备——“动态自适应”、“自主决策与动态编排”、“持续学习与实时优化”这种处理不确定性的能力。所以当以“不确定”为基础的AI 遇见 以“确定性”为基础的传统架构时,自然而然便产生了难以调和的矛盾,例如:
当AI的输出没有遵循既定的schema格式时,传统架构便束手无策,只能默默报错;
当流程/工具/函数需要根据上下文动态选择时,传统架构便无计可施,只能望“规则”兴叹;
当以高延迟、低吞吐为特点的Agent进入到以低延迟、高吞吐为设计原则的传统架构中,各种超时、可用性的问题便层出不穷;
可以看得出来,如何实现传统的工程架构向AI Firendly架构的演进,适配AI时代的“数据结构与算法”,已经成为AI工程师们迫在眉睫的事情。
演进:从“传统”到“AI Friendly”
实现传统架构向AI Friendly架构的升级,其实核心逻辑并不复杂,归结为一点就是:赋能传统工程以驾驭“不确定性”的能力。
需要着重强调的是,AI Friendly架构并非对传统工程经验的全盘否定,而是在我们过去十几年构建的坚实工程地基之上,为应对“不确定性”所进行的一次精准架构升级,这一演进过程主要包含三个关键维度的范式转变:
1、从确定性到概率性
传统工程建立在确定性逻辑之上。系统输出严格遵循 y=f(x) 的映射关系,结果是非黑即白的二元存在:代码要么运行成功,要么抛出异常;
AI工程则运行于概率空间之中。系统输出是大模型、提示词、上下文与环境共同“涌现”的结果。架构设计的核心目标不再是追求零误差,而是通过 RAG 增强、提示词或上下文工程及评测机制,将这种概率性的输出收敛至业务与用户可接受的“安全区间”之内。
2、从结构化到语义化:
传统工程遵循严格的结构化约定,系统输入数据必须精确符合预定义的 Schema(如 JSON 字段类型),任何越界的输入都会触发校验失败,系统边界是一堵刚性的墙;
AI工程则拥抱语义化的柔性交互,系统能够直接理解自然语言、非结构化数据等模糊输入的意图,架构设计的核心目标是基于“意图”而非“格式”进行响应,系统边界演变为一层弹性的膜。
3、从静态到动态
传统工程基于预定义流程(Workflow)开发,系统执行路径依赖于硬编码的逻辑判断(if-else)或规则,系统行为是可穷举、可验证的。虽然规则也可以灵活配置,但本质上是静态的、被动的;
AI工程能够基于模型作出决策,系统具备根据当前环境和目标进行推理的能力,可以无需人工干预地拆解任务、调用工具并响应未知的变化,属于动态的、智能化的系统。架构设计的核心目标需要从“规则”转向“规划”,即通过赋予系统更高的自主性,从而实现任务的自主决策与智能编排。
基于上述演进的三范式,笔者所构造的AI Friendly架构大图设计如下,这里先对架构大图做一个简单的介绍,结合业务系统的实现在后文中也会有所展开:
基础依赖层即架构所需的底层能力和数据支持,与传统架构不同的是,AI Friendly架构会更关注“模型”、“知识”、“工具/Skills”的底层能力和数据支持。在笔者的AI业务系统中:
模型管理(Model Management)依托于ideaLab提供的API,可以基于OpenAI协议调用各大厂商提供的不同版本的大模型,无需关注不同模型接入的适配逻辑;
知识管理(Data Infrastructure)依托于ideaLab提供的知识库能力,可以将不同来源的知识(如钉钉、语雀)进行向量化存储和检索,无需关注Embedding Model、向量数据库的接入逻辑;
工具管理(Tool Management)依托于ideaLab、ZETTA共同提供的能力,其中:
ZETTA是HSF团队开发的MCP管理平台,可以基于MCP协议将HSF接口快速转化为MCP Server;
ideaLab则是基于MCP协议实现了MCP Client,可以通过配置MCP Server URL在ideas中实现工具调用(Function Calling),当然也可以直接配置HSF/HTTP接口来实现工具调用;
同时我们基于RPA实现了Computer Use的Skills,包括浏览器的使用、操作系统(如钉钉)的使用,虽然在架构图中单独画了一个模块,但本质上也是属于工具管理的范畴;
另外,由于笔者所在团队都是以Java开发为主,所以采用了Spring AI Alibaba作为开发框架来做实现模型、知识、工具等基础依赖的管理,以及上层Agent、意图、会话等能力的建设,同时结合ideaLab等平台能力简化了能力层中MCP和RAG能力的建设。读者也可基于自己的开发环境,选择适合自己的开发框架以及MCP、RAG等能力层的实现方式。
Agent层、意图层、会话层是AI Friendly架构独有的三层模型,也是实现传统架构从确定性到概率性、从结构化到语义化、从静态到动态转变的关键所在。其中:
Agent层负责实现不同业务场景下Agent的构建和管理。在笔者看来,未来的Agent可以分为两类:一类是具备动态规划解决问题能力的Agent,另一类是具有固定流程编排的Agent(其实更应该叫做AI Workflow)。基于此,在笔者的AI业务系统中,构建了三种Agent的实现方式,分别为:BaseAgent、ReActAgent和PlanAgent,其中:
BaseAgent默认为普通ChatBot或AI Workflow的实现,不具备动态规划能力;
ReActAgent和PlanAgent则是基于ReAct推理范式和Plan计划范式实现了自主推理动态规划能力,是真正意义上的Agent;
同时基于一些Multi-Agent的最佳实践模式(…