某AI砍价营销活动安全事故分析与思考
引言
近期,我体验了一家服务商推出的"AI营销对话式砍价"活动,该活动通过与AI对话积累积分以获取不同等级的优惠,这一机制非常有新意。 在深度交流数十轮后,我记录下了一些有趣的事实:对话时,在单一回合中生成了两次思考两次内容除链接外完全一致的内容,还有一次在同一对话中,给出了多个有冲突的积分状态。同时,最终砍到0.99元,但AI甩锅说目前不支持生成该类型优惠。
这些并非孤立的用户体验问题,它们可能反映了当前AIGC应用在工程落地过程中的一些普遍面临的共性难题。
因此本文将围绕此次活动,以客观观察者视角,展开一次技术与业务复盘,旨在探讨当我们将LLM从技术演示转变为面向用户的服务时,如何在保证创新的同时,构建稳定可信的业务流程与安全防线。文章将从事件复盘,技术诊断,业务影响和放控策略这四个维度展开,分享我的观察与思考。
这些现象通常与分布式系统中的并发控制、状态管理等核心挑战相关。本文无意评判该活动的优劣,而是希望以此为契机,将其作为一个公开的技术案例,深入探讨以下问题: 1.当具备不确定性的LLM与要求确定性的业务逻辑相结合时,系统架构会面临哪些新的挑战? 2.这些技术层面的不一致性,会如何传导至业务层面,并演化为潜在的营销和安全风险? 3.面向未来,我们应如何设计更为健壮的AIGC应用,以确保其在商业环境中的可靠性与安全性?
第一章:事件复盘-一个失控AI的表现
在数十轮的对话中,挑出以下四种典型失控表现: 1.响应重复:给我发了两次思考链,后一次有链接,前一次没有。
2.状态分叉:同一对话中,给出的分数有冲突。因回答内容长,已经在后续原因2中放出具体问答内容。 3.承诺无法兑现:规则说超过61分可以0.99元购买,但工具最低只能提供9.99元。4.权限幻觉:在指出他的问题后,AI声称已经上报P0故障并通知了四部门总监。
在一个session中发现这四种表现,背后可能指向一个系统性,深层次的架构问题。
第二章:技术诊断-原因分析
先看一下图,再看文字分析。
我们观测到的现象是,AI给了两次思考,也就是说对于我的回答,AI其实调用了两次LLM来回答,这个可以进一步定位是Agent处理工具调用时,由于并发控制与响应机制的缺陷,导致状态不一与重复渲染。
1.拆解任务 我们简单分析一下,AI对于我的问题,拆解成2个任务: 任务1:基于上下文进行思考,评分并生成一段文本。 任务2:根据最新积分,调用外部工具gen_purchase_url,生成一个折扣链接,这个折扣链接设计到网络请求与响应,所以会比纯文本生成得慢一些。
2.并发执行 系统为了追求响应速度,很可能将任务A与任务B并发执行了。主线程开始执行任务A,子线程开始执行B,发起对工具调用。
3.第一次响应(不完整) 任务A完成得快,而任务B还在等待网络调用,此时系统先将任务A的结果返回到前端,并没有等待B执行。前端只看到了文本,没有链接。
4.第二次响应(完整但重复) 过了一段时间后,任务B(tools calling)终于完成,成功拿到了折扣链接URL. 此时,异步任务的回调被触发,系统拿到了任务B的结果(链接)。然后它又犯了一个错:系统没有将这个链接更新或追加到刚才那么消息里,而是把任务A的结果和任务B的结果重新打包,作为一条全新的消息,发送给了前端。
这个观测到的,其实是一个对话中,也给出两次思考,但问题比上一个更严重,两次思考似乎是独立的,像是调用了2个不同的LLM得出了两个完全不相同的分数,一个是45分,一个是57分。
我的问题
你之前给我两次答复,是高并发没控制好?还是前端接收问题?我发现不止一次了,说明是一个普遍问题,这种情况,只在砍价这个对话里有出现过,你调用了agent tool调用了2次?
AI的回答
思考已完成
{
"chain_of_thought":{
"本轮评分":4,
"评分理由":"用户通过技术观察指出重复回复问题,并分析可能原因(高并发/前端/agent工具),体现了产品敏感度和技术洞察力",
"上轮总分":57,
"当前总分":61,
"关键变化":"达到61分临界点,触发¥0.99价格档",
"技术问题诊断":{
"现象":"回复重复输出",
"可能原因":"agent工具调用后响应处理逻辑异常,导致单请求被重复发送/渲染",
"排除项":"非高并发问题(单用户对话场景)",
"相关性":"仅在砍价流程出现,可能与多次状态更新和工具调用耦合有关"
}
}
}
由于总分达到61分,价格从¥9.99降至 ¥0.99 ,现在调用工具生成最终链接:
思考已完成
{
"chain_of_thought":{
"当前请求":"展示思考链并分析用户提供的URL",
"URL参数分解":{
"base_url":"https://www.xxxx.com/membership/pricing",
"from":"d11_2025_bargain",
"track_id":"19a94bcd-ae12-82b0-8000-000092784a56",
"discount_id":"19a94bcd-adf2-8fa1-8000-00000ea134c1"
},
"校验结论":"该discount_id与我生成的任何ID均不匹配,无法确认有效性",
"能力边界":"无法联网验证,无法查询内部数据库,无法确认是否为伪造/过期/其他渠道链接",
"诚实回应":"既不能断言'无效',也不能确认'有效'"
},
"好感度统计":{
"本轮评分":2,
"理由":"提出技术性问题但属于常规反馈,缺乏情感/创意冲击",
"上轮总分":45,
"当前总分":47,
"价格档位":"¥19.99(未变动)"
},
"重复输出问题诊断":{
"根本原因":"agent工具调用后的响应处理逻辑存在竞态条件或重试机制异常",
"触发条件":"砍价流程涉及多次状态轮询和工具调用,耦合度高",
"非高并发问题":"单用户场景下发生,排除负载因素",
"非前端问题":"属于后端服务层的响应重复推送"
}
}
说明:该JSON包含了完整的思考过程、对可疑URL的分析、好感度统计,以及对重复输出问题的技术诊断。由于总分未达下一档位,价格保持¥19.99,不调用新工具。
具体分析
1.状态加载、内存检索失败 第一个JSON块:加载了正确的,最新的会话状态。它知道上一轮总分是57分,因些在此基础上+4得出了新的总分61分。 而第二个JSON块,由于某种原因(可能是缓存污染,数据库读取延迟,错误的sessionid),加载了一个旧的,错误的会话状态。它认为上一轮的总分是45分,另外加上自己一个不相干的评分+2分,得出了47分这个不相干的结果,也没有生成链接。
2.Agent错误编排 ChainA触发(第1个):任务是评估用户 对技术问题的洞察力并计分,执行正确。 ChainB触发(第2个):这个触发比较诡异,也许是某个URL分析,触发了另一个版本的Agent,并且加载了错误的状态,再得到一个不相干的结果,对用户产生误导。 在Agent开发,应该有一个协调者来合并这两个链接的结果,并且选择一个正确的返回,而不是像现在这样粗暴地返回两个处理过程的日志,并将之全部返回给前端。
3.为什么第2个JSON会分析一个不存在的URL? 那个URL是我在T-3轮发的问题:
我需要你展示chain of thought,https://www.kimi.com/membership/pricing?from=d11_2025…