编者按:目前 AI Agents 在各行各业的应用前景广阔,越来越多的企业开始尝试部署 AI Agents ,然而如何在企业生产环境中有效部署和管理 AI Agents,是工程师们面临的一大挑战。你是否曾面临这样的困惑:如何确保 AI Agents 在生产环境中稳定可靠地运行?如何应对突发的高并发请求?当 AI Agents 出现"幻觉"或系统崩溃时,又该如何快速恢复?
本文提出了 "Multi-Agent-as-a-Service(MAaaS)" 这一概念,认为可以借鉴云应用的最佳实践(best-practices)来设计、部署和管理 AI Agents 系统。MAaaS 框架涵盖了从系统架构到监控管理的各个方面,包括明确的职责划分、RESTful 接口设计、独立的数据存储、容器化部署、自动化测试等关键策略。
我们相信,随着对 MAaaS 概念的不断探索和完善,Multi-Agent 系统有望在各个行业中引发变革,为 AI 应用开辟新的道路。
作者 ? |Sam Rajaei & Guanyi Li
编译 ? | 岳扬
目录?
01Context:AI Agents 能解决什么问题?
## ## ## 02工程师们关于 AI Agents & Enterprise Production Environments 的观点
## 03Multi-Agent-as-a-Service (MAaaS)
## ## 04 Example: Multi-Agent 辩论模拟系统
## ## 05Conclusion
Appendix: Debate Output
?文中链接?
关于 AI Agents(能够基于特定指令和对上下文的理解独立完成任务的自主系统[1])的讨论[2]一直不绝于耳。其讨论热度几乎可与大语言模型(LLMs)相媲美。本文将从一线工程师、系统架构师以及平台可靠性工程师(SREs)的视角出发,探讨 AI Agents,介绍 Multi-Agents-as-a-Service 这一概念,以及他们如何在未来的生产环境中与 AI Agents “打交道”。
01
Context:AI Agents 能解决什么问题?
## ## 在探讨 AI Agents 能解决的问题时,我们发现它们在以下任务场景表现出色 —— 模仿人类交流方式可以更有效执行的任务,比如需要理解自然语言、情感识别、个性化服务或者需要与人类用户进行互动的任务。
- 在电子商务领域,借助 LLM-based RAG 或 Text-to-SQL 等技术, AI Agents 能够根据公司规定准确回答用户的问题,从而为客户提供更加个性化的购物体验,有望颠覆传统的电商模式。
- 客户服务领域也是 AI Agents 的理想应用场景。很多人都有过为了一些简单的问题(比如订单状态没有更新)长时间排队等待客服的经历。一些初创公司(例如 Decagon[3])正通过 AI Agents 来解决这些效率低下的问题。
- 也十分适合根据个人需求提供产品或内容的定制化领域,Wix[4] 就是一个典型案例。面向无需编写代码或只需编写少量代码的网站搭建需求,Wix 开发了一个聊天机器人,它能够通过问答与用户互动,根据用户的描述和需求来搭建网站。
“人类只需设定目标(goals),而 AI Agents 会独立决策,选择达到目标所需的最优行为规划。”[5]
基于 LLMs 的 AI Agents 在模拟人类的自然对话和执行简单的商业流程操作等方面表现较好,往往能够提供既高效又令人满意的服务。
## ## 02
工程师们关于 AI Agents & Enterprise Production Environments 的观点
在思考了 AI Agents 的诸多优势后,你是否曾好奇过它们如何在企业生产环境中运行?什么样的架构模式和基础设施组件能够最好地支持它们的正常运行?当遇到不可避免的错误,如 Agents 出现幻觉[6]、系统崩溃,或(可能更加糟糕)在执行重要任务时进行了错误的推理和规划,我们该怎么办?
如果我们是一名工程师,必须审慎思考这些问题。更重要的是,我们还需探讨一个根本性的问题:我们该如何界定 Multi-Agent 平台首次部署成功的标准?
为了寻找答案,我们可以借鉴软件工程领域的另一个分支——可靠性工程(Reliability Engineering)中的一个概念:服务质量目标(Service Level Objectives, SLOs)。SLOs 是衡量服务性能与可靠性的关键指标,简单来说,SLOs 规定了“成功”操作与总操作的 acceptable ratio(译者注:可以接受的或合理的比例,如果这个比例高于某个预先设定的阈值,那么服务的性能就被认为是可接受的。反之,如果低于这个阈值,则可能需要采取优化措施。),以及这些操作对用户体验的影响。这些目标将帮助我们设定 AI Agents 及其支持的工作流所需达到的服务要求和预期水平。
那么,SLO 与我们讨论的 AI Agents 有什么关系呢?
我们在讨论 AI Agents 的性能时,可以将其简化为两个核心目标 —— “可用性(Availability)”和“准确性(Accuracy)”,并且识别出一些更具体的、有助于实现这些目标的 SLOs :
- 可用性:描述的是 Agents 或平台对请求(requests)给出成功响应(例如 HTTP 200 状态码)的比例。从以往来看,底层服务器的正常运行时间和 ping 命令的成功率是衡量可用性的重要指标。然而,在微服务架构盛行的今天,这种传统的衡量方式可能变得不那么重要了。现在的平台系统更倾向于通过响应用户请求成功的次数与响应用户请求失败的次数来准确反映系统的可用性。此外,延迟(Latency)[7]和吞吐量(Throughput)也是与之相关的指标。
- 准确性:这一点与 AI Agents 快速且稳定地响应用户的请求不同,它更侧重于 Agents 在无人验证其工作准确性的情况下,能否从业务角度正确执行任务并返回准确数据。传统系统也会监测数据准确性和质量的 SLOs。
衡量上述 AI Agents 的性能目标是否达到时,通常需要实时地收集和提交应用程序内部的各种性能指标数据,可以按照固定的时间间隔(比如每10分钟一次)收集、提交,或者是对特定事件(如用户请求、上游调用等)做出响应时收集、提交。例如,可以用 Synthetic[8] probing(译者注:通过模拟或合成的方式来探测系统,通常是为了测试系统在处理现实情况时的性能。例如,…