2026 年 11 月 10 日,阿联酋穆罕默德·本·扎耶德人工智能大学(MBZUAI)旗下的基础模型研究所(IFM)发布了 29B 参数的开源物理世界模型 PAN 2。它采用宽松的 Apache 2.0 协议开放了权重、训练与推理代码,支持输入文本或首帧加文本,生成 704×1248 分辨率、24 fps、最长 20 秒的模拟视频。在官方自测的 100 项多步任务中,PAN 2 以 34.0% 的完整计划完成率拿下受测模型第一,又在 Physics-IQ Verified 榜单设置中跑出 49.38 分的开源最高分。但翻开底层代码仓库与模型卡就会发现,这套看似压倒 MiniMax-H3 与 NVIDIA Cosmos 3 Super 的成绩单,很大程度上是由外挂顶尖大语言模型撑起来的流水线高分。
具身智能与机器人行业一直渴望一个真正的开源世界模型,让智能体在动手前先通过内部画面推演结果。纯视频扩散模型往往画面逼真却不懂因果,而市面上多数开放权重模型又对训练代码秘而不宣。PAN 2 试图同时补齐这两块短板,但对于打算立刻把它接入机械臂测试的工程团队而言,它的真实边界远比宣传口径严苛。
拿掉外挂大模型后归零的多步推理
PAN 2 延续了 IFM 在 2025 年 7 月《Critique of World Models》论文中提出的生成式潜在预测(GLP)架构,也是 2025 年 11 月初代 PAN 的升级版。它的核心设计是将模拟拆成两步:先由一个大语言模型负责概念推理,读取观察画面与动作请求,把下一步的世界状态写成包含事件、角色定时动作与运镜的结构化 JSON;再交给从头训练的 29B 密集型 MMDiT 扩散骨干做感知推理,配合冻结的 Qwen3.5-9B 文本编码器与 Wan 2.2 VAE 解码器渲染出视频画面。

这套解耦设计在工程上很讨巧,却也暴露了 29B 视频骨干的真实底色。IFM 的消融实验显示,一旦拿掉外挂的 LLM 概念推理,PAN 2 的完整计划完成率会直接从 34.0% 暴跌至 0.0%,单步完成率也从 75.1% 摔到 8.7%;即便只用工具做纯格式改写,也能把完成率拉回到 27.8%。
拿掉外挂大脑完成率瞬间归零,它更像精美的指令渲染器。
这组数字说明,底层的 29B 扩散模型并没有真正内化多步物理因果,真正负责拆解物理逻辑的是前置的 Kimi K3、Claude Opus 5.5 或 GPT-6 Astra。这种靠换用顶尖外部模型拉升表现的做法,直接体现在基准测试的落差里。
在 Physics-IQ 测试中,PAN 2 的系统默认得分其实只有 37.48(±0.48),明显落后于 MiniMax-H3 的 42.91 分;但在 Physics-IQ Verified 榜单设置下,它的分数突然跃升至 49.38 分(±0.64),一举反超 MiniMax-H3(39.79)和 NVIDIA Cosmos 3 Super(48.62),仅次于闭源的 FLUX 3(51.11)。深究代码仓库配置就能发现,榜单高分是因为官方把概念推理器从默认的 Kimi K3 换成了 Claude Opus 5.5,并跑了 4 个随机种子(123 至 126)取均值;而在人类 Elo 评测(1595 分,落后于 MiniMax-H3 的 1620 分)中,它又换上了 GPT-6 Astra。
| 模型名称 | 完整计划完成率 | Physics-IQ (榜单设置) | 人类 Elo 评分 | 开源协议与训练代码 |
|---|---|---|---|---|
| PAN 2 (29B) | 34.00% (±3.61%) | 49.38 (配 Opus 5.5) | 1595 (配 GPT-6 Astra) | Apache 2.0 / 仅开放预训练与 SFT |
| MiniMax-H3 (33B) | 32.50% (±3.04%) | 39.79 (默认 42.91) | 1620 | 社区许可证 / 未公开训练代码 |
| Cosmos 3 Super (64B) | 13.83% | 48.62 | 1380 | OpenMDW 1.1 / GitHub 开放框架 |
| LTX-2.5 (22B) | 13.00% | 未报告 | 1346 | 社区许可证 / 未公开训练代码 |
即便看官方最引以为傲的 100 项多步任务完成率,PAN 2 的 34.00%(±3.61%)对比第二名 MiniMax-H3 的 32.50%(±3.04%),均值优势也只有 1.5 个百分点。考虑到近 3.6% 的标准差重叠区间,这一领先在统计学上并不稳固;而在 300 个单动作测试涵盖的 6 项基础能力总分上,PAN 2(84.48%)更是全线落后于 MiniMax-H3(87.20%),仅在 RBench(57.04 对 56.16)上微弱占优,在完整计划完成率上则拉开了与闭源模型 FLUX 3(26.77%)和 Seedance 2.5(24.49%)的差距。
Apache 2.0 背后的代码留白与显存硬门槛
相比采用社区许可证且不公开训练代码的 MiniMax-H3 与 Lightricks LTX-2.5,PAN 2 直接给出 Apache 2.0 协议确实拉满了开源口碑。但对于想要复现或微调的实验室来说,这份开源礼包仍有两处关键留白。

查阅 GitHub 仓库可知,官方公开的训练代码只涵盖预训练和监督微调(SFT)阶段,而真正决定最终发布权重质量的后训练核心环节——奖励学习(reward-learning)与模型汤(model-soup)代码并未开源。在数据侧,IFM 发现早期混入游戏、动画、CGI 和仿真画面会降低质量,剔除这些合成素材后,9B 测试模型在盲测中拿下了 58% 的胜率。但官方最终只公布了涵盖 11 个元主题、138 个子主题和 1988 个字幕嵌入族的分类体系,所谓的数亿级标注视频既没有精确总数,也没有开放数据源清单或下载链接。
就算只做推理和微调,算力账单也相当高昂。其 SFT 启动脚本默认配置高达 240 个计算节点(预训练调试默认为 1 个节点),并默认开启 FSDP 混合分片、梯度检查点与上下文并行。在推理端,每个 GPU 工作节点必须以 BF16 精度完整加载 29B 模型(默认采样 50 步、flow shift 9、引导系数 2.5,默认生成 241 帧约 10 秒无声视频)。虽然官方宣传页隐去了显存数字,但 vLLM 部署文档明确标出:单卡运行最大长度配置(704×1248 分辨率、481 帧)的峰值显存占用高达 107.4 GiB。这一定位精准卡在英伟达 H200 级别的数据中心 GPU 上,官方也专门为此提供了 H200 设置指南,并为显存不足的团队准备了 96GB 分块卸载与张量并行配置,以及 80GB 和 48GB 的降级方案。
不会模拟失败的模拟器还进不了机器人闭环
回到具身智能开发者最关心的问题:现在能不能用 PAN 2 在真实机器人行动前做安全测试?答案是目前还不行。

那 100 项多步评测(衍生出图文与纯文本共 200 个提示词、456 个步骤,跑 3 个种子取均值)全部基于日常第一人称视角视频,只考核画面里的步骤看着像不像完成了,没有任何真实机器人闭环执行的验证。即使在纯画面推演里,也有约三分之二的计划会遗漏步骤。同时,官方推荐搭配使用的 pan2-guardrail 安全护栏虽然把有害文生视频请求的不安全输出率从 33.9% 压到了 1.5%,却也误杀拦截了 11.5% 的正常良性请求。
更核心的障碍写在 IFM 自己的模型卡局限性说明里。官方坦承,PAN 2 在生成画面时经常采取物理上无效的捷径,存在跨片段外观漂移,且动作输入仅靠上限 1536 tokens 的粗粒度文本描述(官方为此专门给 Claude Code 和 Codex 提供了提示词改写技能插件),根本无法定义机械臂抓取所需的灵巧接触力矩。
- 风险.IFM 明确承认尚未对“本该失败的计划”做过定量评估;一个只会顺着提示词强行画出成功画面、却演不出错误操作如何导致坍塌的模拟器,无法帮机器人做试错筛选。
对于手握算力预算的具身智能团队而言,PAN 2 的真正价值是提供了一个免商业限制、高分辨率的视觉推演底座,而不必受制于竞品的社区许可条款。但在第三方团队证明它能接入真实机械臂跑出 Sim-to-Real 增益、且补齐失败案例的反事实推演能力之前,它依然只是一个依赖顶尖 LLM 喂饭的高级视频生成器。
