编者按:本文通过作者的实践对比发现,框架的选择应基于项目具体需求和团队特点,而不是简单追求某个特定框架。不同框架各有优势:
- 无框架方案实施最为简单直接,代码结构清晰,适合理解智能体原理,但随着项目复杂度增加可能变得难以维护。
- LangGraph提供完整的智能体结构规范,特别适合团队协作和智能体结构新手,但框架限制较多,如不认同其理念可能面临较大调试挑战。
- LlamaIndex Workflows采用事件驱动架构,在框架约束和开发自由度之间取得平衡,对框架依赖较少,但其固有的异步特性可能增加某些场景的复杂度。
框架选择需要考虑三个关键因素:项目是否已深度集成了特定框架、团队对智能体架构的熟悉程度、是否有可供参考的相似项目案例。
作者 |Aparna Dhinakaran
编译 | 岳扬
Image by author智能体(Agents)正迎来辉煌时刻。伴随着众多新框架的涌现和对该领域的持续投资[1],现代 AI 智能体正在跨越起初的不稳定阶段[2],迅速取代 RAG 成为开发首选。那么,2024 年是否会成为 autonomous AI 系统全面接管撰写邮件、预订航班、数据分析等任务的一年呢?
也许吧,但要实现这一点还有很多工作要做。开发人员在构建智能体时,不仅要决定使用何种模型、应用场景和技术架构,还要挑选合适的开发框架。是坚持较为早期的 LangGraph,还是转向新兴的 LlamaIndex Workflows?或者走传统路线,自己编写全部代码呢?
这篇文章的目的就是让您更轻松地做出选择。在过去几周里,我使用多个主流框架构建了相同的智能体,并从技术角度分析了它们各自的优缺点。每个智能体的所有代码都可以在此代码仓库[3]中找到。
本文测试用智能体的基本概述
本次测试所采用的智能体整合了多项功能,包括执行函数调用(function calling)、使用多种工具或技能、与外部资源建立连接,以及实现状态或记忆的共享。
该智能体具备以下几项核心能力:
- 基于知识库进行问题解答
- 数据交互:针对 LLM 应用程序的数据进行问题解答
- 数据洞察:对获取的数据进行更高层次的趋势和模式分析
为了达成上述目标,智能体需要掌握三项基本技能:结合产品文档的 RAG、在相关数据库上生成 SQL 语句的能力,以及数据分析技巧。智能体的用户界面使用 gradio 搭建,而智能体本身则以聊天机器人(chatbot)的形式构建。
01
Code-Based Agent(不使用智能体框架)
在着手开发智能体时,您可以选择不依赖任何框架,而是完全自主构建。在启动这个项目之初,我首先采用了这种方法。
Image by author
1.1 纯代码架构
下面是基于纯代码构建的智能体,其核心是一个由 OpenAI 提供支持的技能路由器,它通过函数调用来确定使用哪项技能。技能执行完毕后,控制权将返回给技能路由器,以便调用其他技能或直接向用户作出回应。
智能体会持续记录用户消息和智能体响应,并在每次调用时将这一完整列表传递给技能路由器,确保在整个交互过程中保留上下文。
各项技能均在独立的类中进行定义(例如“GenerateSQLQuery”类),这些类都保存在 SkillMap 中。技能路由器仅与 SkillMap 进行交互,通过它来加载技能的名称、描述以及可调用的函数。这种设计理念使得向智能体中添加新技能变得非常简单:只需将该技能编写为一个独立的类,并将其加入到 SkillMap 的技能列表即可。这样做的目的是为了在不影响技能路由器代码的前提下,轻松实现新技能的添加。
总的来说,这种实现方式虽然简单易行,但仍然存在一些需要克服的难题。
1.2 使用纯代码智能体面临的挑战
第一个困难在于如何设计技能路由器的系统提示词(system prompt)。在上面的例子中,技能路由器往往倾向于自行生成 SQL 语句,而不是交给相应的技能模块去处理。如果你有过试图让大语言模型停止执行某项任务的经历,那你可能深知这其中的挫败感;为了找到合适的提示词,我不得不进行了多次调试。此外,处理每个步骤产生的不同输出格式也是一项复杂的工作。由于我选择不使用结构化输出,因此必须为技能路由器和各项技能中大语言模型的调用准备多种格式的应对策略。
1.3 纯代码智能体的优点
基于代码的方法提供了一个扎实的基础和出发点,是一种绝佳的学习途径,让我们可以在不依赖现成框架提供的智能体教程的情况下,了解智能体的运作原理。虽然引导大语言模型按既定行为模式运作确实存在难度,但代码结构本身简洁明了,易于操作,对于某些使用场景而言,这种做法是完全合理的(具体分析将在下文展开)。
02
LangGraph
LangGraph 是众多智能体框架中历史最为悠久的之一,它于 2024 年 1 月首次发布。该框架的设计初衷是为了解决现有流程和链条的非循环性问题,它通过采用 Pregel 图结构来解决这一问题。LangGraph 通过引入节点(nodes)、边(edges)以及条件边(conditional edges)的概念,简化了在智能体中创建循环流程的过程,使得图的遍历变得更加直观。LangGraph 是基于 LangChain 构建的,它继承了后者的对象(objects)和类型(types)。
Image by author
2.1 LangGraph 架构
从表面上看,LangGraph 智能体与基于代码的智能体有相似之处,但它们的底层代码却有大不相同。虽然 LangGraph 在技术上也使用了“路由器(router)”这一概念,即通过代码函数调用 OpenAI 并利用其响应来推进到下一个步骤,但程序在不同技能之间的切换控制机制却完全不同。
在此定义的图(graph)中,包含了一个用于初始化 OpenAI 调用的节点,即上文中提到的“agent”,以及一个用于工具处理步骤节点,即“tools”。LangGraph 内置了一个名为 ToolNode 的对象,它能够接收一系列可调用的工具,并根据 ChatMessage 的响应来触发这些工具,完成操作后再次回到“agent”节点。
每当“agent”节点(也可以理解为基于代码的智能体中的技能路由器(router))被调用之后,should_continue 这条边将判断是将响应直接返回给用户,还是转给 ToolNode 来处理工具调用。
在每个节点中,“state” 负责保存与 OpenAI 的交互消息和响应列表,这一点与基于代码的智能体保持上下文的方式相似。
2.2 使用 LangGraph 面临的挑战
在处理 LangGraph 构建的智能体示例时,遇到的主要难题在于必须借助 Langchain 对象才能确保流程的顺畅。
挑战 1:函数调用的 validation 错误
为了能够使用 ToolNode 对象,我不得不对 Skill 代码进…