NVIDIA 在 2026 年 11 月 5 日发布了四个基于 Cosmos 3 Nano 后训练的开放权重世界模型，参数量均为 16B，采用允许商用的 OpenMDW1.1 协议。这批模型在 10 月 20 日已陆续上线 Hugging Face，配套技术报告《Interactive World Simulation with Cosmos for Physical AI》则在 11 月 4 日公开。表面上看，自动驾驶和机器人团队终于等到了能实时交互的轻量级开源世界模型；但翻开底层架构与性能账本就会发现，它既没有取代传统物理仿真器，也不是中小实验室靠几张消费级显卡就能跑起来的免费午餐。
披着世界模型外衣的神经渲染器，底层仍靠传统仿真撑腰
本次开源的四款模型分工明确，分别针对自动驾驶与具身智能两类场景。面向自动驾驶的 Transfer-Auto 是离线双向生成模型，最高支持 11 个相机视角（含鱼眼）与同步 LiDAR 点云生成；Sim-Auto 则是它的因果蒸馏流式版本，用几步去噪实现连续观测生成。面向机器人的 Sim-Transfer 负责把物理仿真器的深度、分割、边缘和模糊四种空间控制信号配合文本渲染成逼真视频；Sim-Bimanual 则支持 YAM 与 AgiBot 双臂机器人或相机动作输入，通过垫齐到 64 维的 59 个控制值直接预测下一帧画面。
为了把庞大的视频扩散模型塞进实时交互循环，NVIDIA 交出了一套四阶段后训练配方。模型先在完整录像上做双向领域适应（Stage 0），接着利用时间因果注意力和 KV Cache 做掩码教师强制训练（Stage 1），再通过 4 步一致性蒸馏压缩单次生成耗时（Stage 2），最后引入自强制训练（Stage 3），在学生模型自己生成的历史画面上继续训练，以此抑制长序列展开时的误差滚雪球。
这套管线很容易让人误以为 Sim-Auto 已经是一个能独立运行的纯神经网络自动驾驶模拟器。实际上，Sim-Auto 根本不直接吃方向盘转角或油门刹车信号。在交互测试中，必须先由外部仿真运行时（Simulation Runtime）根据驾驶动作算出车辆运动，再由渲染器更新每路相机的世界场景图（WSM）和对齐的高精地图（HD-Map）测距控制，最后交给 Sim-Auto 渲染成图像和雷达点云。它本质上是一个架在传统几何引擎之上的多模态神经渲染器。
多视角帧率断崖下跌，跑通实时流式成了 Blackwell 催单符
尽管官方博客主打快速流式生成，但模型卡与技术报告里的硬件跑分却讲了另一个故事。在 480p 分辨率、vLLM-Omni 框架、4 步去噪无 CFG、生成 201 帧的统一基准下，单卡推理速度会因相机路数增加而断崖式暴跌。
| 传感器配置 (480p) | 单卡 GB200 | 单卡 H100 | 单卡 H20 | 准实时流式代价 |
|---|---|---|---|---|
| 1 路相机 (无 LiDAR) | 16.8 fps | 10.2 fps | 3.59 fps | 单卡可跑通单视角 |
| 7 路相机 (无 LiDAR) | 3.0 fps | 1.4 fps | 0.47 fps | H100 沦为幻灯片 |
| 11 路相机 (无 LiDAR) | 1.8 fps | 0.83 fps | 0.28 fps | 吞吐量缩水近九成 |
| 11 路相机 + LiDAR | 1.4 fps | 不支持 | 0.22 fps | H100 显存或算子受限 |
如果你想在 7 路 480p 相机加 LiDAR 的主流智驾配置下获得可交互的流畅度，必须动用 16 张 GB200 并联，才能换来 16.7 FPS 的吞吐量。相比之下，单视角机器人模型的硬件压力小得多，Sim-Bimanual 在单张 GB300 上跑 480p 能达到 48.1 FPS（延迟 166 ms），Sim-Transfer 在单张 GB200 上跑 640×640 为 15.85 FPS（延迟 240 ms）。
开源权重是免费入场券，16 张 GB200 才是真正的过路费。
对于手握普通硬件的高校实验室和初创公司，这道门槛几乎无法跨越。社区实测反馈，使用双卡 RTX 3090 生成一段 161 帧的 720×720 视频耗时约 9 分钟，尝试解码 1280×720 分辨率时直接显存溢出（OOM）。
在画质与几何一致性上，蒸馏也带来了肉眼可见的妥协。在 7 相机 720p 文生视频评估中，Sim-Auto 的帧 FID（48.6）和 FVD-I3D（480）确实优于上一代 Cosmos-Transfer2.5-2B Multiview（分别为 61.9 和 772），但它的 DOVER 技术质量得分反而走低，跨视角 Sampson 几何误差也比旧模型更高。为了换取流式速度，多视角之间的三维几何严密性让渡了一部分精度。
- 结论.NVIDIA 把多视角流式仿真的可用甜点区精准卡在多卡 GB200 与 GB300 上，开源模型成了推销新一代 Blackwell 算力集群的硬核诱饵。
对标 Waymo 与 Wayve，物理幻觉仍是训练真机策略的死穴
放眼整个自动驾驶与具身智能赛道，交互式世界模型已经分化出三条技术路线。Waymo 的世界模型选择在 Genie 3 基础上做后训练，同样支持相机与 LiDAR 联合生成；Wayve 在 2026 年 8 月 3 日推出的 GAIA-4 则生成相机与毫米波雷达（Radar）信号，未确认支持 LiDAR，但它设计了独特的轨道世界（world-on-rails）机制，能让测试车辆在偏离原始轨迹时依然基于真实记录做可重复的评估。这两家闭源大厂都只秀演示视频，唯有 NVIDIA 把模型权重、四阶段蒸馏代码以及各档显卡的延迟吞吐量跑分全部摊在桌面上，直接把开源生态的事实标准握在了手里。
但开源标准并不等于可以直接拿来训练真机。行业里常有人拿 Nano 系列的高分战绩做背书：用真实演示数据后训练的 Cosmos3-Nano-Policy-DROID 曾在 2026 年 5 月 30 日拿下 RoboArena 榜首，在 LIBERO-10 仿真评估的 500 次 rollout 中也跑出了 97.4% 成功率。
这里存在一个关键的因果错位。上述高分是把 Nano 当作策略网络（Policy）在真实或标准仿真数据上微调出来的，而不是让机器人在 Sim-Bimanual 生成的虚拟视频里自学成才。当脱离了显式物理引擎（如 Sim-Bimanual 独立运行），模型卡自己也承认物理定律和接触动力学只是近似模拟，画面中经常出现物体无故消失、变形、碰撞失真以及动作与状态漂移。外部研究《PhysisForcing》也证实了这种接触形变缺陷，指出必须引入针对性的物理监督，才能在 R-Bench 基准上比 Cosmos3-Nano 基线提升 9.2%。
此外，工程落地的最后一公里同样荆棘密布。有开发者尝试把模型输出的 10 维动作向量接入 Isaac Sim 去控制 UR10 机械臂，结果在坐标系解析、逆运动学（IK）求解以及场景状态恢复上接连碰壁；而在涉及行人的自动驾驶评估类别中，纯合成数据训练甚至会出现域退化。
- 风险.在缺乏显式物理引擎兜底的生成世界里训练具身策略，目前仍会被接触形变与物体恒常性幻觉带偏，无法实现零样本真机迁移。
对于智驾算法团队和机器人初创公司，现阶段最务实的做法是把 Transfer-Auto 和 Sim-Transfer 当作低成本的视觉泛化滤镜，用来扩充雨雪天气、夜间光照等极端边缘场景的离线测试集。至于什么时候能真正抛弃传统物理引擎、在纯神经网络生成的世界里完成策略闭环训练，还得看社区接下来能否拿出更轻量的多视角显存量化方案，以及把物理定律硬编码进扩散过程的下一代架构。