一、 AI Agent落地方法论与技术点
1.怎么选场景,定目标?
相信大家和我们一样,遇到的第一桩难事,就是选场景,定目标。目标场景定的不对,不但常常让产研的心血付诸东流,还会无法形成合力,形成由点线再到面的连招攻击。为了介绍我们如何选场景,定目标,先介绍一下京东保险在干嘛?我们做传统保险,在京东场内还有许多特色服务,比如零售商品延长保障,运费险,不爱吃包退,复购补贴,宠物险,账户安全险,上门医疗险,外卖准时宝等。不看不知道,一看~还真不知道。为了让大家用的安心,每一个场景都可以有保险参与深度的定制化建设,每一款产品又都有一条完整的产品供应链来保障运行。
为了回答在哪里开始,我们还需要先了解智能体。
什么是AI 智能体?人就是一个智能体。智能体就是像人一样,能够感知环境、思考决策并执行行动的智能系统。
Agent有哪些好处?解决哪些痛点?
缺人?——高效的AGENT前来救驾,AI Agent产能无限,准实时响应,解锁无限人力能开创的安全度和利润空间。
信息管理难?——透明的AGENT前来救驾,数字阳光,腐败绝迹;标准清晰,歧路清零;全局增改,无需培训;自驱自查,终止熵增。
需要自我解释的能力?——社交的AGENT前来救驾,建立Agent -人网络,人可监控,修改,接手Agent工作,和Agent合作。建立Agent- Agent网络,解锁群体智能。
业务变化大?——自主的AGENT前来救驾,Agent自适应,可以进行目标导向的灵活规划和持续进化。
Agent落地收益预估
当下Agent最擅长代理的类型是——在线的信息处理。在一家商业公司,最适合落地的场景,就是在线的把信息转化为金钱的场景。
智能体落地经济收益公式
**R = (Ch - Ca) × D × A × S**
R:智能体落地的经济收益
Ch:单位人力成本
Ca:单位Agent运行成本
D:转化链路的直接性(0~1)
A:Agent智识覆盖度(0~1)
S:规模
其中:
**A= M /(TI)**
M: 信息输入量
T 获得反馈的周期(时间单位)
I:基准智识难度(值越大越难)
从我们自己总结的智能体落地经济收益公式可以看到:
知识到金钱的转化路径越直接,原有转化链路成本越高,Agent智识能覆盖的链路和比例越全面,业务规模越大,则收益越大,越适合作为优先落地场景。
其中,Agent智识覆盖度取决于agent本身的准确率,想要Agent的效果好,需要选择场景任务本身难度不超过当下Agent智识可处理的阈值,可输入给Agent的有效指令信息越全面清晰越好,Agent获取外部反馈的周期越短越好。
为什么说保险供应链的生产流程非常适合AI Agent落地?
保险的本质是通过集体协作,将个体不确定的巨大风险损失,转化为确定的小额保费支出。
保险公司就是通过经营风险实现“把个体无法承受的大损失转化为群体可分摊的小成本”,这种经营风险的底层逻辑是基于概率建立起来的,风险的系数的预估是通过信息估算得来的,与AI的决策逻辑一脉相承。
保险供应链就是风险这种虚拟的概率型产品从生产到交付到售后的全流程,主要包含产品生产、定价、营销、交易、履约理赔、风控。
•虚拟的概率型产品本质使得AI Agent负责一款保险产品“从生到死”具备了底层逻辑上的可能性;
•保险业务的生产流程高度流程化与规则化,使得这个过程能相对容易地被AI Agent理解与学习;
•保险业务生产流程中,AI Agent提升的是最昂贵、最重复、最容易出错的人工环节,涉及大量知识到金钱的链路转换,收益和价值能直接快速地体现在业务结果中。
直面经营结果(规模/利润)增长而非过程指标的目标设计
Agent中文翻译是智能体,直译是代理。Agent的目标就是所代理角色的目标。成本和规模是最常见的例子,当他们串联成线和面,一个直面经营结果的agent化的保险供应链就产生了。
2.AI应用于生产是什么样的,需要怎样的技术积累?
**
**
Agent由上述组成部分演化而来,技术底座做的好,核心是每个技术模块的精益求精加整体架构的灵活性和成长性。我们将技术亮点总结如下:
亮点一:领域大模型——场景业务模型微调+小尺寸大模型学习保险数据及行业偏好。
通用大模型虽然具备强大的语言理解和生成能力,但在特定行业和业务场景中往往存在不足,主要体现在:
•领域知识匮乏,尤其是保险,金融领域相关的知识,导致这些领域的专业知识无法精准回答;
•语言风格与行业规范不符,专业性不足;
•价值观与行业导向(如合规、风险控制)不一致;
外挂知识库(RAG)的方式虽然可以部分解决掉专业性的问题,来适配生产流程,但部分ToB场景,及大多数ToC的场景中,尤其是实时意图理解相关的情景,要求大模型自身习得领域专业知识,才能做到精准识别用户意图,因此有必要训练保险领域大模型。
小尺寸模型通过业务数据微调,已经被证明在保险垂类场景可以满足业务需求。大部分ToC场景有实时性需求,需要做到与用户交互过程的实时响应,这也限制了模型参数不能盲目增加。另外现阶段保险AI业务变动还计较多,控制合理的尺寸可以在可控的成本内及时响应不断变化的业务需求 。因此现阶段的最佳选择是训练一个保险领域的小尺寸大模型。随着未来AI业务更加稳定,方法论更加成熟,我们会逐渐增模型尺寸,来达到更好的业务效果。
亮点:
一、数据驱动的精准洞察力
通过融合海量、高质量的保险领域专有数据,包括:精算级保险条款库:覆盖全品类产品的标准化与个性化条款;真实的电商行为数据:动态反映用户消费偏好与潜在保障需求。通过持续预训练 → 监督微调 → 对齐优化”的三阶段,让模型擅长于条款解读,商机洞察和产品推荐。
二、上下文长度
在小参数模型中,利用上下文差值等技术,让上下文长度和长文本理解能力具有显著优势。为用户提供流畅、即时的交互体验,有效支撑高并发、低延迟的线上业务场景。
三、“LLM as Agent”理念实践
我们将大模型定位为具备任务执行能力的智能体(Agent),而非仅局限于问答系统。模型可主动调用外部工具、实时获取数据并执行复杂逻辑计算,独立完成产品对比、方案定制、核保咨询等全链路保险任务,从而真正转型为一个懂保险、能办事的智能保险专家。
四、少数据量情景下的训练链路设计
一般情况下,持续预训练(cpt)会选择从base model 训练,sft和对齐则从instruct model开始训练,这存在两个问题,一是cpt好的模型还需要大量的昂贵的instruct指令数据才能变成一个成熟的instruct模型,这里的数据成本和流程依赖会大大延迟模型的训练产出效率。二是SFT阶段的造成的对知识的灾难性遗忘很明显,所以需要在流程上或者数据上再去做混合训练来再SFT阶段输入知识,如:hybrid-turning, structTuning, 我们参考SHADOW-FT 的工作,利用BASE模型和INSTUCT模型在参数和后续SFT,DPO训练上表现的一致性,采用在base模型上SFT,和对齐训练,最后再将变化了的参数用一定的方式和Instuct模型叠加 ,获取相似效果来解决之前提到的两个问题。经验证,这种方式结合 structTuning做SFT阶段名词解释和知识注入,在知识保留上有更好的效果。
五、少数据量情景下的样本构造
使用种子数据,利用WizardLM ,MAGPIE,GraphGen,Condor,Self-Instruct,Self-QA,Self-KG等丰富的方法构造多样的训练数据。
六、科学测评
通用能力,保险通用能力,业务能力三方面展开测评,在保险通用能力上,由于没有开源权威榜单,构造相应榜单。
A. 业务把保险领域能力分为了八个维度,每个维度下有多个子类
•IDK 保险领域知识:保险知识解读、保险科学
•IMI 保险-医疗交叉:医疗实体抽取与标准化、诊断/Q&A、风险/处方预测
•IME 保险-电商交叉:商品风险点挖掘,用户POI标签
•IUC 保险理解与认知:意图理解、槽位填充(产品/标的/疾病)、属性抽取、条款解释、责任/产品选择分析
•ILR 保险逻辑推理:精算、金融数学、数值计算、免责条款推理
•IPE 保险职业考试:保险、医/药/兽医执业、精算资格、销售人员认证
•ISC 安全与合规:信息安全、基线控制、文档合规、价值对齐、问题识别、事实核查、合规验证
•IMG 营销增长:客户分群、服务总结、营销文案、推荐脚本、投资者教育、人群分类、策略制定
•ISD 服务对话:覆盖产品/监管解读、核保与保全、理赔评估与结算、保后操作、规划配置、条件化方案选择与对比、保费/保障计算等多轮服务对话
B. 任务格式
•多选(MC)
•判断(TF)
•开放问答(QA)
•多轮对话(MD):模拟真实咨询场景的延伸式对话,要求跨轮次上下文理解与知识应用。
C. 难度简单(Easy) , 中等(Medium), 困难(Hard)
亮点二:知识库,适配业务的深度检索
**
**
1.表格处理优化:
保险有非常多表格,传统OCR识别表格方法,仅输出文本,表格结构被破坏,无法识别单元格的层级和对应关系,我们经过实验,采用最简单的表格序列化方法,利用大模型对于markdown ,HTML 等序列化语言学习能力,对于非常不规则的表格也实现了很好的理解能力
转换后的表格<table>| 保障类型 | 场景 | 区域 | 报销比例 | 免赔额 |保障类型:住院医疗 | 场景:一般住院 | 区域:国内 | 报销比例:80% | 免赔额:1000元 保障类型:住院医疗 | 场景:一般住院 | 区域:境外 | 报销比例:60% | 免赔额:2000元 保障类型:住院医疗 | 场景:意外住院(含手术) | 区域:全部 | 报销比例:90% | 免赔额:500元 保障类型:门急诊 | 场景:一般门诊 | 区域:国内 | 报销比例:70% | 免赔额:200元 保障类型:门急诊 | 场景:特殊门诊(含肿瘤放疗) | 区域:全部 | 报销比例:85% | 免赔额:300元</table>
2.利用层级分片(Structural Chunking),保持多长下文之前的全局一致性
适用材料:保险条款 材料特征: 保险条款具有明确的层级结构(章→节→条→款),逻辑严谨,用户问题往往指向具体条文,如“自燃是否属于除外责任”“等待期内能否报销”等。
技术选型:
•按原有层级切分,以“条”或“款”为最小单元。
•每个 chunk 需附带元信息,如章节路径(第×章–第×节–第×条)、险种名称、生效日期等。
•延迟切分(Late chunking):保留全局语义、减少割裂
◦整篇文档索引:首先以较大粒度(整章或整节)生成语义向量,保留上下文全貌
◦检索阶段粗召回:查询命中的相关章节
◦命中区域再细切:在检索到章节内部再按照300--600 tokens动态切分
3.微调训练embedding和基于大模型的rerank模块
对于人,条款,场景等关键内容向量化模块进行训练,增强检索效果。数据构造时可以采用假设回答弥补query 和答案之间的gap,训练的目标,即包含准确性,也包含多样性。
4.用意图识别和deepdoc补全复杂query多库搜索的路由模块
和deepsearch一样,query可能混合多库检索需求,或者混合精确查找和语义查找,用deepdoc进行query改写和查询规划,实现复杂查询。
亮点三:Agent做计划,三种策略满足不同场景。
和人做计划一样,agent做计划,也需要以上四个模块,规划阶段的目标是生成一个高质量、可执行的计划。挑战在于:
•理解复杂/模糊的意图:用户输入往往不精确。
•工具选择的准确性:如何从众多可用工具中选出最合适的?
•参数生成的正确性:如何为选定的工具生成正确的输入参数?
•处理依赖关系:如何正确识别和排序任务之间的依赖?
•应对不确定性:如何制定能够应对执行过程中可能出现的意外情况的计划?
我们混合使用三种方式实现意图识别和流程规划
策略一:基于提示词的流程编排和自主规划
| 流式 |
| | --- | --- | | 路由 |
| | 聚合 |
| | 编排 |
| | 方案生成 |
|
( 以上图片来自网络,侵权请联系作者删除)
将意图识别和流程反思规划的所有部件和流程写在代码或者提示词里。像上面的表格所示的流程编排,可以互相嵌套,实现很大的复杂性和可控性。适合容错率低,回复时长要求高的场景。
也可以采用纯自主agent模式,如下图所示:利用React,preAct 模式,形成 “plan → act → revise plan” 循环,进行更自主的规划。适合容错率高,回复时长要求低的场景。
部分固定用途的模块,如意图分类,工具选择和参数提取等,可以训练小的语言模型来实现更好的性能和准确性。
策略二:基于搜索增强的层级规划
这个链路适合海量工具和复杂环境的情况,可以大大减少模型的上下文压力。
基于搜索增强的知识组织及灵活层级规划流程:
•Data(线上化索引):业务落地的关键,不仅要沉淀原始数据、明细数据和结果数据,并明确各类数据的含义,还需系统性地记录从原始数据加工至结果数据的全过程逻辑。
•比如利用 embedding 做一个“候选工具/Agent 粗筛”,再让 LLM 做最后决策
•Search:多智能体扩展的关键,将面向场景的扩展与模型定制化解耦。Agent应用如果伴随模型的定制化优化,将会变成一种很重的模式,从而限制应用的广泛性。用户发布具体任务时,首先将其转化为搜索任务,系统将检索与该任务相关的业务知识、业务逻辑及可用工具等业务导向内容,并提供给大模型进行处理。
•Think&Plan:根据搜索结果,大模型利用模型的推理能力、思维链、运筹规划等技术,进行深度思考和任务规划,明确后续需执行的操作并进行优化,如形成一个DAG运行图。
•Do&Environment:大模型利用AI NATIVE的业务系统提供的接口,完成系统调用等流程,实现对业务系统的实际操作。在执行过程中,可以利用编写程序,继续搜索等工具,完成现有工具无法涵盖的新任务。
•Reflection:通过业务系统产生的业务反馈,Agent系统能够自主的思考、优化、沉淀最佳实践,从而持续提升整个链路的运行表现。
策略三:基于RL的自主编排
这个链路适合环境随着agent行为改变比较剧烈的长程规划。我们以赋予智能体“从实践经验中自主学习、持续进化”的能力为核心目标。基于强化学习的模式以最终结果的奖励信号为核心驱动,通过 “行为 - 反馈 - 奖励” 的闭环持续优化策略,这种从结果倒推优化方向的逻辑,与人类 “从实践结果中总结经验、调整决策” 的认知本质高度契合。
智能体的执行过程RL抽象过程:
在关键决策点记录下系统的状态 (State),并明确是什么调用 (Call)触发了从一个状态到另一个状态的转变,捕获这一系列(状态 -> 调用 -> 新状态)的序列。
状态(State):在任务 x 的第 k 次执行中,时间步 t 的状态由一组变量构成:
调用(Call):一次完整的执行由 N 次调用组成:
其中第 i 次调用的结构为:
•meta:调用的元数据(如组件名、API端点、LLM温度等)
•input:调用该组件时提供的输入
•output:组件执行后返回的输出
状态与调用的关系:
带奖励的执行轨迹(Execution with Reward):将奖励信号加到每次调用上,得到可用于学习的完整轨迹:
最终将智能体的复杂执行过程抽象为标准的(component, input, output, reward)序列,在智能体的具体实现逻辑与通用的RL训练算法之间架起了一座桥梁,实现了二者的解耦。
应用展示:
亮点四:如名称Eva(进化)所暗示,架构设计重点保障成长性。
**
Eva Agent模块:**
包涵四个主要部分:
•Agent专家角色实现——利用大模型实现保险行业的各专家能力;
•Agent专家能力扩展——利用各种外挂工具让Agent更加强大,这些外挂包括:
大脑外挂——记忆模块,让 Agent拥有从经验中学习的能力;
知识外挂——知识库,让 Agent拥有调用外部知识的能力,让Agent的决策更加可控,准确;
手外挂——工具模块,让Agent可以方便的使用各种工具来完成自己的任务。
脚外挂——行为模块,让Agent系统完成与浏览器提供的各种操作。
•Agent专家调度策略——在所有专家Agent之上,更高级认知模块。主要包括反思和计划模块,作用是协调和规划各专家Agent的行为,如任务拆解,优先级排序等,并依据外界反馈,优化Agent的行为。
•Agent专家持续进化——通过反思,训练优化模型表现。
外界任务进入后,Agent通过计划模块将任务拆解为各子任务流程,分派给各专业Agent进行推理。专业Agent调用历史记忆,知识,工具等模块作出决策响应。最后调用行为模块,产生最终行动,作用于EVA浏览器。反思模块再根据浏览器和业务系统的反馈,结合Agent运行产生的记忆,调整优化Agent行为。
经验及时积累,基于self-play 的RL模型进化。
一个自主交互式agent系统,一定要实现自身的进化和成长,不然不足以应对复杂多变的业务场景,而设计一个能从自身和人类经验中学习的系统,是最关键的一步。我们的自主交互式系统如下:
•角色是指用LLM的方式进行角色数字员工的角色扮演,模版角色是指利用可以复用于其他场景的基础角色。
•意图识别识别用户意图,我们将意图分为快速问答,知识检索,任务处理 和探索发现类,决定是快速问答,调用知识库,调用任务处理机制,还是上网搜索整合信息以及自由组合多agent完成任务。通过领域与策略的提前区分,平衡速度,准确度,和答案覆盖度。
•知识搜索和工具是可靠的“资料库和听诊器”,结合深度文档搜索功能,提供高质量的答案。主要采用DeepDoc技术…