机器人领域总在兜售长程记忆的故事,但工程师们日常真正头疼的,其实是机械臂伸出去那一瞬间的虚晃与抽搐。法国非营利 AI 实验室 Kyutai 最近发布的端到端视觉-语言-动作模型 REKI(论文《REKI: Registering Knowledge in VLAs》,arXiv:2610.22178),总参数量仅 2.4B,却在开源社区激起了不小的水花。它最扎眼的地方在于:在单张 H100 上跑完一个动作块(action chunk)的端到端推理,耗时只有 21.8 ms,控制闭环频率达到了 15 Hz。
更有意思的是,它声称在这么高的速度下还带着记忆运行。但把代码和消融数据拆开看,这绝非人类那种贯穿始终的情境回忆,而是一次极度精明的控制工程妥协:用极小的显存代价,换取机械臂最稀缺的时序平滑度。
2 MiB 显存压制机械臂震颤
以 OpenVLA 7B 或 π0 3.3B 为代表的具身智能方案,一旦试图在动作生成中引入多帧历史视觉信息,立刻就会遭遇 KV Cache 显存爆炸与计算延迟激增的泥潭。边缘设备或单张显卡往往根本吃不消。为了快,大部分系统只能退回单帧静态感知,结果就是机器人频频出现往复摆动与震颤。
REKI 的解法是由两部分构成的混血架构:前端采用 2.2B 参数的 Qwen3.5-2B 视觉语言主干,后端挂载一个 200M 参数 的 Flow-Matching 动作专家。
整个设计的关隘在于压缩机制。模型没有把历史帧的所有视觉特征一股脑塞进注意力矩阵,而是将每帧庞大的多模态上下文压缩成 32 个学习到的 Register Tokens,只将这 32 个标记存入动作专家的 KV Cache 中。系统默认维持当前帧加过去两帧(K=3)的滑动窗口,每保留一帧历史仅需约 2 MiB 缓存。
在单张 H100、双路 256×256 图像输入与 10 步 Euler 去噪的配置下,CUDA Graphs 加速后的推理耗时压到了 21.8 ms。在这套流水线里,读取缓存记忆增加的额外开销仅有 0.1 ms 左右。相比于让机械臂在黑暗中盲动,这 0.1 ms 换来的是确定性的稳定收益。
这不是大脑的永恒记忆,而是一枚给关节减震的低成本飞轮。
仿真刷榜与时序记忆的物理边界
从基准成绩看,REKI 的表现相当强悍。在经典的 LIBERO 仿真全套四项任务中,它拿下了 97.6%(整体 97.5%)的成功率;面对加入外界扰动的抗干扰基准 LIBERO-Plus,它录得 90.4%,压过了 π0.5 的 85.7%。在 RoboTwin 2.0 上,简单与困难任务分别达到 85.9% 和 84.6%,而在长程复杂的 RoboCasa365 场景中,成功率也达到了 38.4%。
但在漂亮的百分比之下,消融实验泄露了一个容易被忽略的物理现实:消融数据显示,记忆机制最大的功劳,是把 RoboTwin 任务中由于缺乏时序连贯导致的机械臂震颤与往复摆动比例,从 14.8% 直球砸落到 4.1%。在真实的 UR5 机械臂 5 项长程测试里,记忆机制确实让成功率提升了 12 到 17.5 个百分点。
可一旦试图拉长这根记忆链条,边际效益就会迅速归零。当历史窗口从 K=2(过去 1 帧)增加到 K=3(过去 2 帧)时,LIBERO-Plus 的成功率仅仅从 90.1% 挪到了 90.4%;而在 RoboTwin Clean 场景里,指标甚至从 73.6% 倒挂跌到了 73.4%。
- 结论.这套架构本质上是一个极其精湛的超短程时序平滑器,它根本无法提供真正跨越几十秒、需要因果推导的长期记忆能力。
古人讲「善战者无赫赫之功」,在毫秒级动力学控制里,消弭微小的抖动比堆砌宏大叙事重要得多。但如果社区误把它当成通晓前因后果的长程推理机器,在工业产线这种容错率极低的环境下,迟早会被现实上课。
缩水的轮次与留一手的开源
把目光从论文指标拉回到工程复现,会发现不少值得咂摸的细节。
首先是测试标准的口径微调。在 RoboTwin 基准的评测中,业界总榜通用标准通常是每任务 100 次测试(episodes),而 REKI 的评估实际采用的是 每任务 20 次,同时整个评测流程高度依赖特定的 MuJoCo 版本补丁与图像旋转处理。在真机部分,团队所列出的物理 UR5 测试仅仅覆盖了 5 个任务,每个任务只有 10 次采样,甚至混合了部分得分制规则。在统计学意义上,如此微小的样本量,很难论证模型面对真实车间光照漂移和物料散乱时的抗摔打韧性。
- 提醒.Kyutai 虽在 GitHub 上放出了基座权重 kyutai/reki-2b 以及微调接口,却把涉及 32 卡 GPU、20 万步的核心预训练代码和数据管线按下了暂停键。
没有那一套完整的数据加工流水线,社区就无法弄清这些 Register Tokens 究竟是在多大规模的合成数据扰动下才学会了抵抗抖动。只给权重不给管线的半开放,与其说是开源,不如说是给工业界抛出了一张诱人的效果凭证。
机器人赛道经历过盲目拼大模型的狂热期,如今终于承认小参数模型在延迟与功耗上的不可替代性。REKI 证明了 2B 级别的主干加上极轻量的时序注入,完全可以在单卡上胜任 15 Hz 的高频闭环任务。对于那些正被机械臂高频震颤折磨、又被庞大显存占用劝退的具身智能团队来说,用 2 MiB 换 10 个百分点的平滑度,依然是一笔极划算的工程买卖。只是在完整训练集和百轮测试复现公开前,不必急着把一次漂亮的底盘调校,误读为认知系统的跨越。
