罕见!Meta、OpenAI、xAI联合分享了用生产环境提升LLM的最佳实践!

大家好,我是PaperAgent,不是Agent!

Meta/OpenAI/xAI联合发表了一篇在生产环境中规模化迭代优化高吸引力与可控的LLM的新成果:CharacterFlywheel。斯坦福最新OpenClaw论文:Agents of Chaos

当前大语言模型(LLM)的发展主要集中在助手型AI(如ChatGPT、Claude),目标是成为"全知全能的预言家"——知识渊博、乐于助人、真实无害。然而,另一类同样重要的场景——社交型AI(如Character.ai、Replika)——却缺乏系统性研究。

核心差异:

  • 助手型AI:目标明确,有客观评测标准(MMLU、HumanEval等),奖励信号可验证
  • 社交型AI:目标模糊主观("吸引力"、"像人"),缺乏标准化基准,难以进行强化学习

Meta等发现,社交聊天产品拥有数百万用户,但相关技术进展却"基本不透明"。CharacterFlywheel正是为了填补这一空白——如何在生产环境中,科学地、可测量地提升AI的社交对话能力。

二、核心贡献:15代迭代的"飞轮"方法论

从2024年1月到2025年4月,团队基于LLaMA 3.1进行了15个版本的迭代优化,最终部署在Instagram、WhatsApp、Messenger的AI角色聊天功能中。

7/8的A/B测试显示正向提升,证明了该方法论的有效性。

三、方法论详解:CharacterFlywheel 架构

3.1 核心思想:爬山算法比喻

团队将整个优化过程比喻为在"吸引力地形"中爬山:

"Mountain identified. Time to climb." —— Ilya Sutskever

  • (a) Landscape Climbing: 整体优化轨迹,逐步攀登吸引力高峰
  • (b) Data Sampling: 在当前位置采样数据点,估计局部地形
  • (c) Pre-Herding: 训练奖励模型,插值出等高线(地形轮廓)
  • (d) Herding: 基于估计地形,更新模型位置

3.2 完整开发流程

整个流程分为三个阶段:

1. 数据整合 (Data Consolidation)

  • 流量筛选 (Traffic Curation)
  • 数据标注 (Data Annotation)

2. 预放牧 (Pre-Herding)

  • 奖励模型训练 (Reward Modeling)
  • 拒绝采样 (Rejection Sampling)

3. 放牧 (Herding)

  • 监督微调 (SFT)
  • 直接偏好优化 (DPO)
  • 强化学习 (RL)
  • 评估 (Eval) → 部署新版本

3.3 数据管道:从真实用户到训练数据

数据来源:

  • 线上生产流量 (Online Production): 大规模、广泛覆盖的真实用户交互
  • 内部UI流量 (Internal UI): 数据供应商、UX研究团队、内容团队的目标反馈

数据筛选三阶段:

阶段
操作
目的
Phase I: 过滤
隐私/安全过滤
确保数据干净
Phase II: 多样性采样
基于DRAMA-1B嵌入聚类,保留p%数据
消除冗余,保持分布代表性
Phase III: 约束调整
分层采样,对齐目标分布
确保多维度平衡

四、奖励模型:如何量化…

— 以上为试看内容(约 40%),开通会员后阅读全文 —