Mistral AI这周在官网放出一段视频:一台机器人接到指令"离开大厅,穿过走廊,进入储藏室,面向第二个货架停下",全程只靠头顶一枚普通RGB摄像头完成,没有深度相机,没有激光雷达。这个叫Robostral Navigate的模型只有8B参数,在具身导航的公认基准R2R-CE的unseen验证集上跑出76.6%的成功率,seen验证集更是到了79.4%。按Mistral自己的说法,这个数字比此前最好的单摄像头方案高9.7个百分点,比用了深度或多摄像头的方案还高4.5个百分点。如果这组对照站得住,机器人感知硬件那道多年绕不开的坎,可能真有一条更便宜的路。
一枚摄像头怎么替掉一整套传感器
Robostral Navigate的路子不是从零训练一套感知系统,而是从Mistral自家做"定位、计数、物体识别"的视觉语言模型上直接续接过来——先学会看懂图里的东西在哪,再学怎么往那儿走。它给出的不是"前进多少米"这种度量指令,而是pointing:在当前摄像头画面里直接标出目标点的像素坐标和到达后该朝哪个方向。这个设计天然不怕摄像头参数和场景尺度的变化,但有个明显短板——如果目标根本不在当前视野里,pointing就失效了,模型只能退回到"前进2米、左移1.5米、左转25度"这种传统位移指令。
训练数据全部来自仿真:约40万条轨迹、覆盖6000个场景,没有一帧来自真实世界。为了压缩训练成本,Mistral用了一种前缀缓存的树状注意力掩码,把一整段导航过程压进一次前向传播,训练token数减少了22倍。监督训练之后再加一轮在线强化学习算法CISPO,让模型能从失败里自己纠错,成功率又往上抬了3.2个百分点。
76.6%这个数字,第一次有了对照系
单看76.6%这个数字没有意义,读者常识里理解不了"好不好"。真正有价值的是Mistral顺手报出的两个基线:此前最好的单摄像头方案是66.9%,用了深度或多摄像头的方案是72.1%。这两个数字此前不为人知,一旦摆出来,"单摄像头击败多传感器"就从一句营销话变成了可以核验的量化差距。
基准数字漂亮,真实世界的墙还没翻过
- 结论.行业惯例一直是靠深度相机、LiDAR、多摄像头堆几何信息,单目RGB天生缺深度线索,容易在真实场景里判断错尺度、撞上东西;Robostral Navigate如果真能绕开这道坎,受益最大的是那些不想为每台机器人多装一套传感器的物流、仓储、酒店客户——Mistral在通稿里点名的正是这几个行业。
这跟自动驾驶圈那场"要不要用LiDAR"的老争论是同一个逻辑:便宜的感知路线一旦性能追平甚至反超,硬件成本就会立刻变成竞争变量。
仿真墙外的那一步,官方没写
问题在于,目前所有数字都来自Mistral自己的测试。原文和官方博客都没有提供第三方复现,也没有公开任何一段真实机器人(而非仿真环境)的完整测试记录。R2R-CE本身是仿真基准,和真实世界里的人群走动、意外遮挡、地面湿滑之类的干扰完全是两回事。
- 风险.40万条训练轨迹全部产自仿真,模型有没有真正学会理解真实世界的几何关系,还是学会了"在仿真分布里蒙对答案",这是具身AI领域公认的老问题,Mistral这次的通稿没有展开讨论。
Mistral也没有说清这个模型接下来是开源、还是只走企业API或商业授权,定价和访问方式都是空白。它在文末只留了"跟我们的团队聊聊"和招聘链接,姿态更像是在给企业客户和同行实验室——Google、Meta、NVIDIA这些也在做具身导航的团队——先立一个标杆,再谈落地。
这类项目最值得盯的不是这份成绩单本身,而是接下来有没有人拿真机器人在真办公室里把它重新跑一遍。基准数字能不能扛住摄像头晃动、玻璃反光和一群下班的人流,才是决定它离部署还有多远的那道真门槛。