摘要
GenAI大模型成熟模型,您的AI企业准备好了吗?
GenAI成熟模型提供了一个框架,用于理解和衡量组织中GenAI采用的进展,包括六个级别:自发、机会主义、标准化、受控和创新、多智能体。其中包括知识图谱增强大模型的能力建设。
要点:
- 该模型概述了组织中GenAI采用的五个不同阶段。
- 这些阶段从最初的自发水平到先进的创新水平。
- 每个阶段代表GenAI整合和技术水平的不同程度。
- 该模型使组织能够自我评估其当前的AI成熟度。
- 它有助于识别改进领域并建立GenAI实施路线图。
- 通过各个阶段的进展涉及加强GenAI项目的结构、控制和创新。
- GenAI成熟模型是指导企业AI战略和发展的有价值工具。
正文
我们观察数百个项目、客户和合作伙伴后发现一些独特的增长和成熟趋势。生成式 AI 的成熟模型反映了这一点,并概述了一个框架,详细说明了 GenAI 解决方案在七个不同复杂程度级别上的渐进发展。
通过使用这样一个成熟度模型,组织可以清晰地了解他们在 GenAI 成熟度模型上的当前位置,并制定一个有针对性的策略,提升他们的能力并实现他们的业务目标。这种评估还有助于他们就技术投资、人才招聘和流程优化做出明智决策,确保一个更加成功并与业务能力相匹配的 GenAI 之旅。
- GenAI 之旅
- Gen AI 成熟度模型:不同复杂程度级别
- Level 0:准备数据
- Level 1:选择模型和提示:提供模型
- Level 2:检索增强:检索信息以增强提示
- Level 2.1:简单检索和生成
- Level 2.2:上下文检索和生成
- Level 2.3:动态检索和生成
- Level 2.4:多源检索和生成
- Level 2.5:知识感知生成; 知识图谱增强
- Level 3:利用具体领域数据调整模型
- 3.1. 上下文学习(ICL)
- 3.2. 多示例(使用大上下文窗口)
- 3.3. 预训练小语言模型
- 3.4. 适配器调整
- 3.5. 低秩适应(LoRA)
- 3.6. 其他参数高效微调方法
- 3.7. 领域特定预训练
- 3.8. 监督微调
- 3.9. 完全微调
- 3.10. 指令微调
- 3.11. 通过人类反馈进行强化学习(RLHF)
- 3.12. 直接偏好优化(DPO)
- 3.13. 多任务微调
- 3.14. 元学习(学会学习)
- 3.15. 主动学习
- 3.16. 知识蒸馏
- Level 4:通过搜索和引用来落实模型输出
- Level 5:基于AI Agent智能体的系统
基于智能体与多智能体系统
- Level 6:多智能体乘数器
- 水平和垂直领域
利用 GenAI 在水平领域中提高投资回报率
利用 GenAI 在垂直领域中提高投资回报率
- 结论与行动呼吁
注意,GenAI生成式人工智能参考架构详细介绍了这些组件在每个成熟级别的技术方面。
为了将技能和内部能力与期望的业务结果保持一致,企业和组织可以实际评估其在GenAI成熟模型上的当前位置,然后查看他们想要实现的业务结果,并评估到达那里所需的代价——他们未来的成熟状态——从技术上来说,实际上将他们的倡议、技能发展、激励和构建或购买决策与成熟级别保持一致,以帮助他们转变以实现他们期望的业务结果。
您可以按以下方式进行此类评估:
1. 确定主要业务结果:组织应该从清晰定义他们通过GenAI实施和用于衡量它们的KPI来实现的特定业务结果开始。这些结果可以涵盖从改善客户服务和自动化流程到增强决策能力或开发新产品和服务等方面。
2. 将结果与成熟级别进行映射:一旦确定了期望的结果和KPI,组织就可以将它们与成熟模型中相应级别进行映射。例如:
- 级别0:如果主要目标或能力是为未来的GenAI倡议收集和组织数据,那么该组织可能处于级别0。数据当然是推动AI的基本要素;不管是预测AI还是生成AI。
- 级别1和2:如果重点是使用GenAI来执行基本任务,如内容生成、总结内容、使用基本能力和所提供的基础模型的知识进行问题回答,或者用于信息检索,那么组织可能处于级别1或级别2。
- 级别3和4:希望通过其数据定制GenAI模型或确保结果的质量和相关性的组织可能处于级别3或级别4。
- 级别5和6:对于需要多代理系统、高级推理或负责任AI实践的复杂用例,组织可能瞄准级别5或级别6。
3. 评估当前能力:组织接下来应该评估他们在数据基础设施、模型选择、提示工程、模型调整、评估和多代理系统基础设施方面的当前能力。这可以通过内部审计、外部咨询或与行业标准进行对比来完成。
4. 确定差距和机会:通过将期望的结果与当前能力进行比较,组织可以确定其在GenAI成熟方面的差距。这些差距代表需要投资和发展的领域,以达到期望水平。此外,他们可能会发现利用现有优势并加快进展的机会。
5. 制定路线图:依据评估,组织可以制定一份详细概述跨越差距并实现期望业务结果所需步骤的路线图。这份路线图应该优先考虑与战略目标保持一致的倡议,并有效地分配资源。请参阅GenAI Roadmap以获取有关战略和ROI以及第一部分和第二部分路线图的指导。另外,要了解在驱动更高成熟级别时要实施的详细组件,请查看GenAI生成式人工智能参考架构。
GenAI 旅程
是的,GenAI 在数据战略、管道、共享等方面以及预测 AI 的实现中起到了增强作用。GenAI 是一次旅程。这从基本的 Level 0 开始,重点是获取或生成、策划和准备数据,这是 GenAI 模型的基本原材料。这涉及收集大量数据集,清洁数据,并确保其对培训目的的质量和相关性。
继续到 Level 1,组织选择适当的 GenAI 模型,并制定有效的提示与其进行交互。提示是引导模型输出的文本输入,选择正确的模型和提示对于实现期望结果至关重要。此外,这一级别涉及为特定任务提供这些模型的服务。
当我们达到 Level 2 时,通过 GenAI 模型检索信息的复杂性增加。这表明了一种更复杂的互动方式,其中从其广泛的知识库中查询模型以提取特定见解或数据。Level 3 包括使用专有或特定领域数据对 GenAI 模型进行微调。微调是一种将预先训练的模型调整为特定任务或领域的过程,以增强其性能和自定义性。这使组织能够将模型定制到其独特的需求和要求上。
在随后的级别中,通过对输出的接地和评估对模型进行进一步改进,确保其准确性、相关性和道德一致性。引入多智能体系统,在 LLM 的协调下,多个 GenAI 模型共同协作。这有助于需要协调和整合各种能力的复杂任务。可观察性和 LLMOps 变得至关重要,确保模型行为的透明性,并简化 GenAI 生命周期的运营方面。
请注意,在较高成熟级别,可以利用先进技术,如 Tree-of-Thought(ToT)[16]、Graph-of-Thought(GoT)[17]、DSPy [18]、自我纠正[19] 和 ReAct [20] 来增强 GenAI 模型的推理、规划和行动能力。这些技术使得复杂决策和问题解决能力成为可能,推动了生成 AI 可以实现的边界。
GenAI成熟度模型—一个不断增长复杂性的旅程,以提供更大的商业价值并产生业务结果
成熟度模型图表显示了生成式AI解决方案在七个成熟度和复杂性级别上的不断提升。
请注意,除了级别(行)外,您可以将成熟度级别的组件视为支持该特定领域中日益复杂性的列进行聚类,例如,红黄绿或建模调整。
让我们将GenAI的每个成熟度级别分解为其组成要素。再次,请参考GenAI参考架构,深入讨论每个组件。
GenAI成熟度模型:不同层次的精细化
这种成熟度模型为GenAI解决方案的不断提升提供了一条路径,从基本数据准备和模型选择开始,逐步进行微调、评估,最终达到多代理系统、先进推理和负责任的人工智能实践阶段。
Level 0:准备数据
这个基础级别侧重于获取或创建必要的数据集,并确保这些数据集的质量和适用性,以供GenAI/LLM或基于代理的应用程序使用。这将涉及采购、清洁、准备、获取使用许可证,生成合成数据和数据工程和转换活动。
Level 1:选择模型与提示:提供模型
这是最简单的级别:选择一个LLM并提示它。处于这一级别的组织已经确定了合适的模型,并正在制定有效的提示与之进行交互。他们还有能力使用这些模型来执行通常通过提示工程驱动的特定任务。请注意,相同的提示可能对不同的LLM产生不同的结果。
模型选择、提示工程和检索:该过程始于选择一个适合特定任务的LLM模型,并使用专有数据进行微调。有效的提示工程指导模型的行为,信息检索机制从内部知识库中提取相关信息。这个检索步骤通常由企业搜索功能提供支持,允许模型访问组织内部资源中的相关文档和数据。
请注意,上下文学习和多次学习可以提供有前途的模型调优。请参阅模型调优部分。
Level 2:检索增强:检索信息以增强提示
在之前的级别基础上建立,这个阶段涉及通过GenAI模型检索相关信息。这表明了与模型进行更复杂交互以提取特定见解或数据。
此时,注意力转向了使用专有或领域特定数据对GenAI模型进行微调。这可以提高性能,并使模型更加可定制,以满足特定要求。
检索增强生成(RAG)是一个将信息检索系统与LLM结合起来以生成更准确和知情回应的框架。RAG的复杂性可以根据检索和集成机制的复杂程度进行分类。
RAG(检索增强生成):在从内部来源进行初始检索之后,RAG利用类似谷歌外部搜索的能力,例如由Vertex AI基础服务提供的搜索。这涉及查询外部知识库、网络和其他相关来源,以收集可增强生成输出的准确性和上下文的附加信息。内部和外部搜索的结合确保对主题进行全面理解。
值得注意的是,检索增强本身具有几个复杂层次。让我们来探讨一下。
2.1级:简单检索和生成
在这个基本级别上,RAG根据用户的查询从知识库或语料库中检索相关文档或段落。然后,检索到的信息直接传递给LLM,后者使用检索到的内容作为上下文生成响应。这种方法相对简单,但可能并不总是产生最准确或相关的结果,因为它完全依赖于LLM理解和综合检索到的信息的能力。
2.2级:情境检索和生成
这一级别引入了更复杂的检索机制,考虑用户查询的上下文。与仅基于关键词匹配检索文档不同,它可能利用语义搜索或查询扩展等技术来识别更相关的信息。此外,检索到的信息可能会根据相关性或重要性进行过滤或排序,然后传递给LLM。通过提供更专注和上下文相关的信息,这可以提高生成响应的质量。
2.3级:动态检索和生成
这一级别通过在生成过程中动态检索信息将RAG推进一步。LLM可以在需要时逐步请求额外信息以生成更全面和准确的响应,而不是一次性检索所有相关信息。这种方法允许进行更微妙和互动式的对话,在这种对话中,LLM可以积极寻找额外信息以澄清歧义或填补知识空白。
2.4级:多源检索和生成
这一高级别涉及从多个来源(如不同的知识库、数据库或甚至实时数据流)检索信息。此处的挑战在于有效整合来自不同来源的信息,这些信息可能具有不同的格式、结构或可靠性水平。这需要复杂的检索和融合技术,以确保生成的响应连贯、准确且及时更新。
2.5级:知识感知生成,知识图谱增强
在这个最高复杂级别,RAG将知识图谱或其他结构化知识表示整合到LLM对检索到的信息的理解中。这使LLM能够对检索到的知识进行推理,识别概念之间的关系,并生成更为见解深刻和明智的响应。这种方法特别适用于需要深入领域知识或推理能力的复杂任务。
第3级:使用特定领域数据调优模型
本级别包括调优模型的能力,随着成熟度的提高,可以使用参数高效微调、带人类反馈的强化学习(RLHF)、监督微调(SFT)或完全微调(FFT)。了解如何使用 Google Vertex AI 来调整您模型的各种选择。这使模型能够根据特定行业或领域的数据进行训练。每个组织的秘密来源是它们多年来积…