LLM 在腾讯游戏数据分析的实战
导读 大语言模型(LLM)的发展正在改变数据分析的方式。从传统的代码驱动查询,到自然语言直接交互,LLM 赋能的“AI+BI”能够提供更为智能、灵活的高的数据分析体验,大幅提升工作效率。
在游戏行业,这一变革也正在发生。游戏业务数据量庞大且实时性要求高,分析场景复杂多变,从玩家行为分析到运营活动效果评估,都需要依赖大量的数据分析作为支撑,“AI+BI”也自然成为了一个重点方向。然而,在实际业务场景中,LLM 处理复杂数据需求的能力以及交付结果的准确性,仍旧面临诸多挑战。 腾讯游戏数据团队从早期便开始了 LLM 在数据分析工作上的应用探索,在服务腾讯游戏旗下多款千万级 DAU 头部产品的过程中,积累了大量实战经验和技术方法论。在近期举办的“DataFun AI+BI 智能驱动峰会”上,腾讯游戏数据技术负责人刘岩围绕 LLM 在游戏数据分析中的实战展开了分享,涵盖数据提取、分析链路构建及业务落地等关键环节。
内容目录:
1. 基于大模型的数据提取
2. 从数据提取到数据分析
3. 从工程验证到业务应用
4. 未来展望
分享嘉宾|腾讯游戏数据技术负责人 刘岩
编辑整理|DataFun志愿者 峰宾
内容校对|郭慧敏
出品社区|DataFun
01 基于大模型的数据提取
1. 基于大模型的数据提取
2. 从数据提取到数据分析
3. 从工程验证到业务应用
4. 未来展望
分享嘉宾|腾讯游戏数据技术负责人 刘岩
编辑整理|DataFun志愿者 峰宾
内容校对|郭慧敏
出品社区|DataFun
1. 数据分析的流程
游戏精细化运营时代,数据分析的重要性在不断提升。游戏数据分析的常见场景主要包括可视化经营分析、明细数据提取,到归因和预测,因此,我们探索的主要方向也是 AI 在这几个方向上的提效和赋能。
数据分析的流程体系本质都是这几个步骤:第一,理解业务需求;第二,理解数据;第三,准备数据,对数据做清洗加工;第四,数据建模;第五,验证数据并最终交付。这个流程是固定不变的。如何让 AI 参与到这个流程的各个步骤里?AI 的能力边界是什么呢?这些便是我们工作的重点。
2. AI 代理的模块化架构
AI 代理的模块化架构可划分为记忆系统、推理执行系统及环境感知系统三大核心:
(1)记忆系统
参数记忆:基于模型训练参数构建的底层能力,包含预训练模型固有的知识与技能(如 DeepSeek、OpenAI 等大模型的基础能力)
工作记忆:通过提示词工程实现的即时任务指令,当前多数 Agent 系统通过提示词直接调用模型完成任务
语义记忆:通过构建领域知识库、语义资产库及上下文扩展机制,增强模型对专业领域(如 Text2SQL)的语义理解与知识调用能力
情景记忆:记录用户交互历史及应用环境状态,包含多轮对话记录与场景上下文信息
(2)推理执行系统
采用 ReAct 循环机制,集成模型的推理能力与工具调用能力:
逻辑推理:基于当前上下文与任务目标进行多步骤推理
工具调度:动态选择适配的外部工具与知识源
自适应优化:根据任务进展实时调整推理路径
(3)环境感知系统
构建多模态感知能力,实现环境交互验证:
界面感知:通过浏览器自动化等技术实现网页操作的环境感知(如 Manus 的订票场景实现)
数据感知:建立输入输出校验机制,确保数据操作符合业务规则与预期结果
该架构通过模块化设计实现智能体的认知闭环,参数记忆与工作记忆构成基础认知层,语义记忆与情景记忆构建知识上下文,推理系统驱动任务执行,环境感知系统则通过实时交互验证确保行动的准确性和可靠性,共同构成具备自主决策能力的智能代理系统。
3. 数据工程应用
在数据提取场景中,核心挑战在于 Text2SQL(文本到结构化查询语言)生成的准确性。当前主流模型在测评数据集(如 Spider 2.0、BIRD)的性能表现不尽如人意:在理想条件下,表现优异的模型可达到约 70% 的 SQL 生成准确率,尤其在处理复杂查询时准确率显著下降,无法满足实际业务场景的需求。
针对这个问题,通常会通过构建“新一代 AI 数据资产”和“人机协同的 Workflow”两种方式进行优化。“人机协同的 Workflow”方面,我们将数据提取流程进行精细化拆解,明确界定人工介入环节与智能代理(Agent)的执行边界;通过需构建多轮交互机制,持续的信息确认与反馈迭代替代单一查询指令,以提升复杂场景下的任务完成质量。
我们构建了“新一代 AI 数据资产”,这套资产体系的核心评价标准聚焦于“AI 可理解性”,通过系统化的知识表征与语义建模,确保各类数据资产(包括但不限于结构化数据、业务规则及领域知识)能够被 AI 系统有效解析与应用。这要求资产体系在构建过程中遵循语义标准化原则,通过元数据标注、概念图谱构建及语义关联建模等技术手段,实现从数据存储到知识表达的范式转换,从而为 AI 系统的智能推理与决策提供可靠的支撑。
基于 AI 数据资产,腾讯游戏数据通过工程化的方法提升 AI 在复杂需求上的交付准确率。举例来说,和数据工程人员的工作流程一样,当大模型接到一个复杂的提数需求时,第一步会先把这个复杂的需求拆解成若干个子需求;第二步就是根据每个子需求生成 SQL,这一步会跟 AI 数据资产进行联动;第三步则是资产沉淀,每个需求对应的资产和特征,通过子需求进一步拆散,这样可以沉淀更细粒度的资产,下次会被其他需求用到。
通过这一技术方案,腾讯游戏数据团队的 AI 游戏数据提取在场景下能做到 90% 的准确率,已经达到实际业务应用的及格线。
扫码入群参与讨论
✅ 对分享有疑问?群里问!
✅ 有心得体会想分享?群里聊!
✅ 想深入某个点?群里讨论!
扫码入群参与讨论