前言
Linkedin领英有很好的场景以及数据积累,在生成式人工智能的应用方面做了不少落地的实践探索,之前介绍过两篇。
Linkedin领英大模型落地实践系列 - 首个生成式人工智能项目走过的5个坑 & Linkedin的GraphRAG客服问答系统实践
今天介绍第三篇,和几天前的内容有些类似,但从不同的角度进行解读。
正文:
在过去六个月里,我们的LinkedIn团队一直在努力开发一种新的人工智能驱动体验。我们想重新构想我们的会员进行求职和浏览专业内容的方式。
生成性人工智能的爆炸性发展让我们暂停思考,现在有哪些是一年前不可能的。我们尝试了许多想法,但没有真正产生共鸣,最终发现将每个动态和职位发布转变为跳板的力量:
- 获取更快的信息 例如 从帖子中提取要点或了解一家公司的最新动态
- 连接思路 例如 评估您与职位发布的匹配度
- 获得建议 例如 改进您的个人资料或为面试做准备
- 还有更多…
构建起来容易吗 什么地方做得好,什么地方没有 建立在生成式人工智能之上并不都是一帆风顺,我们在很多地方遇到了障碍 我们想拉开“工程”的幕后,分享哪些方面比较顺利,我们在哪些地方遇到困难,以及接下来会发生什么
概述
让我们通过一个真实的场景来展示系统是如何工作的。
想象一下你正在浏览LinkedIn动态,偶然看到一篇关于设计中无障碍性的引人注目的帖子。在帖子旁边,你会看到一些入门问题,以便更深入地探讨这个主题。你很好奇,点击了“在科技公司中无障碍性推动商业价值的一些例子是什么?”
以下是后台发生的事情:
- 选择合适的代理:这是您旅程的起点。我们的系统处理您的问题并决定哪个人工智能代理最适合处理它。在这种情况下,它识别出您对科技公司中的无障碍性的兴趣,并将您的查询转发给一位专注于通用知识寻求问题的人工智能代理。
- 收集信息:是时候进行一些实地工作了。人工智能代理调用内部API与必应的组合,搜索具体示例和案例研究,突出设计中的无障碍性如何为科技带来商业价值。我们正在创建一个档案来支撑我们的回答。
- 撰写答复:掌握必要的信息后,代理现在可以撰写答复。它过滤和综合数据,形成一个连贯的信息性答案,为您提供关于无障碍倡议如何推动科技公司商业价值的清晰例子。为了避免生成一大段文字并使体验更具互动性,内部API被调用来为答复装饰附件,如文章链接或帖子中提到的人的个人资料。
您可能会接着问“我如何将我的职业转向这个领域”,我们将重复这个过程,但这次将您引导到一个职业和工作人工智能代理。只需几次点击,您就可以深入了解任何主题,获得可操作的见解或找到您下一个重大机会。
大部分这一切都是由于大型语言模型(LLMs)的出现,我们认为分享关于我们在其基础上构建时所面临的挑战的幕后故事会很有趣。
整体设计
图1:处理用户查询的简化流程。KSA代表“知识共享代理”,是可以处理用户查询的数十个代理之一
你们中的一些人可能从上面的解释中注意到我们的流程遵循被称为检索增强生成(RAG)的模式,这是生成AI系统中常见的设计模式。构建这个流程实际上比我们预期的要简单得多。仅仅几天,我们就建立了基本框架并使其运行起来:
- 路由:决定查询是否在范围内以及将其转发到哪个AI代理。代理的示例包括:职位评估、公司理解、帖子的要点等。
- 检索:以召回为导向的步骤,AI代理决定调用哪些服务以及如何调用(例如,LinkedIn人员搜索、Bing API等)。
- 生成:以精确为导向的步骤,筛选通过检索得到的嘈杂数据,进行过滤并生成最终响应。
调整“路由”和“检索”感觉更自然,因为它们具有分类特性:我们构建了开发集,并通过提示工程和内部模型进行了拟合。现在,生成就另当别论了。它遵循80/20原则;获得80%很快,但最后的20%却花费了我们大部分的工作。当你产品的期望是99%以上的答案应该是优秀的,即使使用最先进的模型,仍然需要大量的工作和创意来获取每1%的进步。
对我们有效的方法:
- 固定的三步流程
- 用于路由/检索的小模型,用于生成的大模型
- 基于嵌入的检索(EBR)由内存数据库支持,作为我们“穷人的微调”,直接将响应示例注入到提示中
- 每一步的特定评估流程,特别是针对路由/检索
开发速度
我们希望在多个团队中快速行动,因此决定将任务分成由不同人员开发的独立代理(即,AI代理):一般知识、工作评估、后续要点等。
然而,这种方法带来了重大妥协。通过并行化任务,我们在速度上有所提升,但也付出了碎片化的代价。当后续与助手的交互可能由不同的模型、提示或工具管理时,保持统一的用户体验变得具有挑战性。
为了解决这个问题,我们采用了一个简单的组织结构:
- 一个小型“横向”工程舱,处理常见组件并专注于整体体验。这包括:
- 产品托管服务
- 评估/测试工具
- 所有垂直领域使用的全球提示模板 例如 代理的全球身份 会话历史 越狱防御等
- 我们iOS/Android/Web客户的共享UX组件
- 一个服务器驱动的UI框架 可以在不更改客户端代码或发布的情况下发布新的UI变化
- 几个具有自主权的“垂直”工程舱的示例:
- 个性化帖子总结
- 职位匹配评估
- 面试技巧
我们成…