AI落地Best Practice · 企业与业务成品 · 2026-06-08

小鹏集团发布X-Foresight:学习世界知识赋能智驾,开创预测模型新范式

小鹏发布X-Foresight系统,通过预测式世界模型从视频中学习物理规律,实现驾驶决策的本质跃升。

核心内容:

  1. 自动驾驶世界知识为何必须从驾驶视频中学习
  2. X-Foresight如何通过联合预测未来画面与动作内化世界知识
  3. 该系统相比传统反应式VLA模型的核心优势与突破

物理世界知识 核心承载于视频

大语言模型在编程、数学领域的能力突破,源于文本模态承载了对应领域的全部知识,模型通过海量文本训练即可完成知识学习。知识的承载模态,决定了模型的学习与建模方式。

基于这一核心逻辑,小鹏提出物理 AI 领域的关键判断:自动驾驶所需的世界知识,并非存在于纯文本或图文对中,而是密集编码于驾驶视频内。没有一本书会记录在突发行人鬼探头场景中行人如何反应、自车如何决策。相反,海量驾驶视频会存储静态场景、交通控制、自车行为、周围物体行为等多维度世界信息。如同大语言模型依托文本习得数理编程知识,自动驾驶系统需通过世界模型从视频中萃取物理世界知识,X-Foresight 正是小鹏打造的专属物理世界知识学习引擎。

闭环推演(Closed-loop rollout):

七路环视摄像头以 4 Hz 的频率进行自回归预测;每一帧画面均由大型驾驶模型(LDM)预测的摄像头 Token 渲染生成

X-Foresight:以预测式建模内化世界知识

X-Foresight 的核心,是把预测式世界模型直接融入 VLA,在统一的 token 空间内联合预测未来的多视角画面(video)与自车动作(action)。这样做的核心价值是,车辆行驶轨迹是世界环境演化的组成部分,同步预测未来画面,可以让模型依托单一数据集获取更密集的监督信号,将视频中的物理动力学规律、长时因果关系转化为模型固有认知,为 VLA 架构控车决策提供核心支撑。

这也是 X-Foresight 与传统 VLA 模型的本质区别。传统 VLA 属于反应式决策逻辑,仅学习 “当前观测对应执行动作” 的关联,不关注环境演化规律与因果逻辑;X-Foresight 采用预测式决策逻辑,输出动作的同时需完成未来世界状态预测,倒逼模型掌握车辆、行人运动规律与场景因果链条。凭借更扎实的世界知识储备,X-Foresight 在驾驶决策层面全面超越传统反应式 VLA 基线模型。

围绕 “从视频高效学习世界知识” 的核心目标,X-Foresight 针对性破解时序两难、长程漂移、采样失衡、渲染失真等一系列核心技术难题,构建完整的技术实现路径。

(A) X-Foresight 的推理流程

(B) 在 t=2 s、t=4 s、t=6 s 时刻预测未来帧的闭环推理可视化结果

(C) X-Foresight 在多项基准测试中均优于基线方法

拉长预测视界 捕捉长时因果知识

驾驶行为的长时因果关系,是世界知识的核心组成部分。例如变道超车的操作,可能引发数百米后错过导航出口的结果,此类关联仅通过短时序预测无法习得。

X-Foresight 主动拓展训练预测视界,实测数据验证:当训练视界从 1 个时间块扩展至 21 个时间块时,安全、合规等与长时世界因果强相关的指标实现持续提升,印证长时序预测是习得世界知识的核心前提。

多出口环岛下,X-Foresight根据实际情况追踪目标出口

夜间十字路口下,X-Foresight预测信号灯转换

长时域分块自回归 破解预测退化与时序困境

长时预测面临两大核心难题:一是预测退化,视频帧冗余度高,传统逐帧预测易退化为像素外推,无法学习物理规律;二是时序困境,瞬时动态知识需高帧率稠密预测,长时因果学习需跨时长稀疏预测,二者难以兼顾。

X-Foresight 采用长时域分块自回归策略,将时间序列划分为多个模块:块内保留稠密帧,精准捕捉车辆转弯、行人移动等瞬时动态;块间采用稀疏长跨度过渡,高效学习长时因果关系…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/AIqiche/2026060897416.html