机器人领域总在兜售长程记忆的故事,但工程师们日常真正头疼的,其实是机械臂伸出去那一瞬间的虚晃与抽搐。法国非营利 AI 实验室 Kyutai 最近发布的端到端视觉-语言-动作模型 REKI(论文《REKI: Registering Knowledge in VLAs》,arXiv:2610.22178),总参数量仅 2.4B,却在开源社区激起了不小的水花。它最扎眼的地方在于:在单张 H100 上跑完一个动作块(action chunk)的端到端推理,耗时只有 21.8 ms,控制闭环频率达到了 15 Hz。

更有意思的是,它声称在这么高的速度下还带着记忆运行。但把代码和消融数据拆开看,这绝非人类那种贯穿始终的情境回忆,而是一次极度精明的控制工程妥协:用极小的显存代价,换取机械臂最稀缺的时序平滑度。

REKI 2.4B 架构与轻量记忆流转 视觉语言主干 Qwen3.5-2B (2.2B) • 双路 256×256 图像输入 • 文本指令融合 • 压缩为 32 Register Tokens 每帧缓存仅 ~2 MiB 动作专家缓存 KV Cache (K=3) [当前帧 t] [历史帧 t-1] [历史帧 t-2] 动作专家执行 Flow-Matching (200M) • 10 步 Euler 去噪 • CUDA Graphs 加速 推理延迟 21.8 ms 闭环控制频率 15 Hz

2 MiB 显存压制机械臂震颤

以 OpenVLA 7B 或 π0 3.3B 为代表的具身智能方案,一旦试图在动作生成中引入多帧历史视觉信息,立刻就会遭遇 KV Cache 显存爆炸与计算延迟激增的泥潭。边缘设备或单张显卡往往根本吃不消。为了快,大部分系统只能退回单帧静态感知,结果就是机器人频频出现往复摆动与震颤。

REKI 的解法是由两部分构成的混血架构:前端采用 2.2B 参数的 Qwen3.5-2B 视觉语言主干,后端挂载一个 200M 参数 的 Flow-Matching 动作专家。

整个设计的关隘在于压缩机制。模型没有把历史帧的所有视觉特征一股脑塞进注意力矩阵,而是将每帧庞大的多模态上下文压缩成 32 个学习到的 Register Tokens,只将这 32 个标记存入动作专家的 KV Cache 中。系统默认维持当前帧加过去两帧(K=3)的滑动窗口,每保留一帧历史仅需约 2 MiB 缓存。

在单张 H100、双路 256×256 图像输入与 10 步 Euler 去噪的配置下,CUDA Graphs 加速后的推理耗时压到了 21.8 ms。在这套流水线里,读取缓存记忆增加的额外开销仅有 0.1 ms 左右。相比于让机械臂在黑暗中盲动,这 0.1 ms 换来的是确定性的稳定收益。

这不是大脑的永恒记忆,而是一枚给关节减震的低成本飞轮。

仿真刷榜与时序记忆的物理边界

从基准成绩看,REKI 的表现相当强悍。在经典的 LIBERO 仿真全套四项任务中,它拿下了 97.6%(整体 97.5%)的成功率;面对加入外界扰动的抗干扰基准 LIBERO-Plus,它录得 90.4%,压过了 π0.5 的 85.7%。在 RoboTwin 2.0 上,简单与困难任务分别达到 85.9% 和 84.6%,而在长程复杂的 RoboCasa365 场景中,成功率也达到了 38.4%。

关键指标:抗扰度、震颤抑制与硬件延迟 90.4% LIBERO-Plus 成功率 高于 π0.5 的 85.7% 4.1% 动作震颤往复比例 无记忆基线高达 14.8% 21.8 ms 动作块端到端延迟 单卡 H100 闭环达 15 Hz

但在漂亮的百分比之下,消融实验泄露了一个容易被忽略的物理现实:消融数据显示,记忆机制最大的功劳,是把 RoboTwin 任务中由于缺乏时序连贯导致的机械臂震颤与往复摆动比例,从 14.8% 直球砸落到 4.1%。在真实的 UR5 机械臂 5 项长程测试里,记忆机制确实让成功率提升了 12 到 17.5 个百分点。

可一旦试图拉长这根记忆链条,边际效益就会迅速归零。当历史窗口从 K=2(过去 1 帧)增加到 K=3(过去 2 帧)时,LIBERO-Plus 的成功率仅仅从 90.1% 挪到了 90.4%;而在 RoboTwin Clean 场景里,指标甚至从 73.6% 倒挂跌到了 73.4%。

  • 结论.这套架构本质上是一个极其精湛的超短程时序平滑器,它根本无法提供真正跨越几十秒、需要因果推导的长期记忆能力。

古人讲「善战者无赫赫之功」,在毫秒级动力学控制里,消弭微小的抖动比堆砌宏大叙事重要得多。但如果社区误把它当成通晓前因后果的长程推理机器,在工业产线这种容错率极低的环境下,迟早会被现实上课。


缩水的轮次与留一手的开源

把目光从论文指标拉回到工程复现,会发现不少值得咂摸的细节。

首先是测试标准的口径微调。在 RoboTwin 基准的评测中,业界总榜通用标准通常是每任务 100 次测试(episodes),而 REKI 的评估实际采用的是 每任务 20 次,同时整个评测流程高度依赖特定的 MuJoCo 版本补丁与图像旋转处理。在真机部分,团队所列出的物理 UR5 测试仅仅覆盖了 5 个任务,每个任务只有 10 次采样,甚至混合了部分得分制规则。在统计学意义上,如此微小的样本量,很难论证模型面对真实车间光照漂移和物料散乱时的抗摔打韧性。

  • 提醒.Kyutai 虽在 GitHub 上放出了基座权重 kyutai/reki-2b 以及微调接口,却把涉及 32 卡 GPU、20 万步的核心预训练代码和数据管线按下了暂停键。

没有那一套完整的数据加工流水线,社区就无法弄清这些 Register Tokens 究竟是在多大规模的合成数据扰动下才学会了抵抗抖动。只给权重不给管线的半开放,与其说是开源,不如说是给工业界抛出了一张诱人的效果凭证。

机器人赛道经历过盲目拼大模型的狂热期,如今终于承认小参数模型在延迟与功耗上的不可替代性。REKI 证明了 2B 级别的主干加上极轻量的时序注入,完全可以在单卡上胜任 15 Hz 的高频闭环任务。对于那些正被机械臂高频震颤折磨、又被庞大显存占用劝退的具身智能团队来说,用 2 MiB 换 10 个百分点的平滑度,依然是一笔极划算的工程买卖。只是在完整训练集和百轮测试复现公开前,不必急着把一次漂亮的底盘调校,误读为认知系统的跨越。