Kyutai 刚刚开源了名为 CADRE 的视频自编码器及交互式世界模型,宣称在单张 NVIDIA H100 上把端到端动作延迟压到了 230 毫秒以内。很多关注生成式视频的人下意识以为这是视频压缩算法的新突破,但翻开测试数据就会看到一个刺眼的对照:在 OpenVid-HD 基准测试中,CADRE 的峰值信噪比只有 25.12 dB,而阿里开源的 Wan 2.2 是 35.02 dB。两者在重构保真度上相差了整整 10 dB。
在计算机视觉领域,10 dB 的落差足以让原本锐利的边缘和细腻的纹理退化为充满涂抹感的画面。CADRE 并不是造出了更强的高清视频解压器,而是一场为了在物理交互中争夺控制权展开的激进撤退。
拆解 230 毫秒:动作等待才是延迟真凶
交互式世界模型无论用在具身智能控制、自动驾驶还是实时游戏生成中,都有一个残酷的人类感知上限:端到端延迟一旦超过大约 230 毫秒,操作者就能明显察觉到粘滞与拖手感。

这个 230 毫秒并不是单纯指解码器跑得有多快。整个动作响应链路包含三个部分:动作收集缓冲等待、世界模型去噪生成计算,以及最后的视频自编码器解码。长期以来,真正卡死交互的瓶颈不在后两者的计算耗时,而在最前端的动作缓冲等待。
主流视频生成模型如 Wan 2.1、HunyuanVideo 和 Cosmos,为了降低庞大的计算量,往往采用 4× 甚至 8× 的高时间压缩率。这意味着模型在时间轴上高度依赖上下文因果关系,必须先攒满 4 帧或 8 帧的动作与图像信息,才能启动一次推演。在 20 FPS 的运行环境下,8× 压缩光是等待输入窗口填满就要死等 400 毫秒。计算还没开始,交互体验就已经宣告破产。
CADRE 的核心手术刀落在了时间维度:它放弃激进的时间压缩,主打 2× 时间压缩。在 20 FPS 下,动作缓冲等待时间被直接斩断到 100 毫秒。它先让系统在物理层面上具备响应的可能,再去谈后面的画面生成。
牺牲像素换反应:为什么 25 dB 依然有用
为了在低时间压缩下保住推演速度,CADRE 重新设计了架构。它采用冻结的 DINOv3 提取视觉特征,中段接可训练的卷积瓶颈层,尾端则使用蒸馏至 1 步或 2 步的因果 Transformer 扩散解码器,一共提供了 7 种压缩配置。

但这种设计的代价极其沉重。在 OpenVid-HD 涵盖 3072 条视频切片的基准测试里,CADRE 2×16×16 配置的 PSNR 仅为 25.12,衡量感知质量的 LPIPS 为 0.059,视频生成分布差异 FVD 更是高达 11.5。反观 Wan 2.2(4×16×16 配置),PSNR 达到 35.02,LPIPS 为 0.012,FVD 仅有 0.8。
从潜变量通道数也能看出两者的截然不同:CADRE 2×16×16 保留了 64 个潜变量通道,标量压缩比只有 24×;而 Wan 2.2 仅用 48 通道就做到了 64× 压缩,HunyuanVideo 1.5 更是以 32 通道压到了 96×。CADRE 没有在信息压缩率上创造奇迹,它的解码器本质上是在用单步扩散机制脑补合理的纹理细节。
古人讲求全者常损其神,贵速者每略其形。在机器人机械臂抓取或动态避障的闭环控制里,系统不需要在每一帧里看清螺丝钉的反光,它只需要知道机械臂是否碰撞、杯子是否滑落。CADRE 砸碎画质指标,换来的是语义层面在时间序列上的连续合理。
- 结论.CADRE 绝不能作为通用的视频自编码器使用,它是专门为交互控制流定制的特种装备。
算力账本与开源暗礁:单卡一人的残酷现实
即便付出了画质退化的代价,CADRE 在单张显卡上的性能表现也谈不上宽裕。

在单张 NVIDIA H100(BF16 精度、开启 torch.compile、10 步去噪)的标准基准下,CADRE 2×32×32 配置录得 185 毫秒动作延迟与 23.4 FPS;但一旦切到分辨率稍高的 CADRE 2×16×16,延迟上升至 216 毫秒,吞吐量跌落到 17.3 FPS,无法维持 20 FPS 的交互及格线。
官方演示之所以能跑出好看的数据,背后叠满了工程妥协:去噪步数从 10 步压缩到 7 步,解码采用 FP8 量化,并配合了缓存优化。即便如此,单用户独占单张 H100 时也只能维持在 20 FPS 和 162 毫秒输入延迟;一旦接入双用户并发,帧率立刻滑落至约 14 FPS,p95 延迟升至 207 到 212 毫秒。这套账本里,还没把网络往返传输和前端浏览器的画面渲染耗时算进去。
在开源代码层面,外部团队想要完全复现这一套流程并不轻松。官方发布的预训练世界模型权重在训练时使用了 10% 的 action dropout,但开源代码库中缺失了 10% 的 action dropout 训练选项。在机器人评测基准中,公开数据集已有 4 个任务出现数据失效,直接波及了 2048 个评测窗口中的 8 个。官方后续推荐的 cadre-2x16x16-multires 潜空间甚至与已发布的世界模型权重并不兼容。截至 2026 年 10 月 24 日,行业内尚无第三方独立基准复现,官方仓库的 open issues 依然保持在 0。
- 风险.现有视频生成大模型(如 Wan 或 HunyuanVideo)无法直接换装 CADRE 享受低延迟,由于时间压缩率与通道定义完全不同,接入必须对整个世界模型进行全量重训。
交互延迟的物理天花板,第一次逼着生成模型向画质低头。
世界模型在这一刻显现出了明确的分水岭:一派继续在影视级生成里堆叠参数与重构分辨率,另一派则像 CADRE 这样,甘愿承受画质折损与沉重的算力单价,只为让虚拟推演能跟上物理世界的真实节拍。
