385 倍写在传播标题里,345 倍才是论文图 5 能对上的数字。杜克大学、伊利诺伊大学厄巴纳-香槟分校和哈佛大学的研究者提出了 Energy-Based Reasoners(EBR,能量式推理器),让同一个打分函数指挥模型怎么改、何时停、多个答案里选哪个。数独实验确实省算,但 345 倍不能全记在早停头上。

项目页里,180 万参数的 EBR 在 Sudoku-Extreme 上单样本准确率为 99.4%,用 5 个样本达到 99.9%。算量对比是另一次实验:图 5 里,EBR 用 8 个样本做到 99.92%,每题 0.61 TFLOPs;EqR 用 128 个样本做到 99.8%,每题约 210 TFLOPs。两边准确率接近但并不相同,345 倍指的是这两个实验点的每题浮点运算量之比。

早停到底省了多少

把模型和采样预算都固定,再看早停。图 5 中,同样跑 8 个样本,固定步数的 EBR 每题用 6.60 TFLOPs,按梯度早停后降到 0.61 TFLOPs,算量约为原来的 1/10.8,论文未报告精度损失。这笔账能算给早停。换成 EqR 做对照,模型和候选数都变了,剩下的差距不能拿同一条解释填上。

<svg viewBox='0 0 760 222' width='100%' height='222' role='img' aria-label='同模型早停约省10.8倍算量,跨模型对比约差345倍'>
<rect x='1' y='1' width='758' height='220' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='30' y='40' font-size='20' font-weight='700' fill='#b25a3a'>数独算量的两笔账</text>
<line x1='30' y1='56' x2='730' y2='56' stroke='#e2dccf'/>
<rect x='30' y='76' width='339' height='116' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='391' y='76' width='339' height='116' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='50' y='105' font-size='16' fill='#2c2822'>同模型比早停</text>
<text x='411' y='105' font-size='16' fill='#2c2822'>跨模型比算量</text>
<text x='50' y='149' font-size='36' font-weight='700' fill='#2c2822'>10.8×</text>
<text x='411' y='149' font-size='36' font-weight='700' fill='#2c2822'>345×</text>
<text x='50' y='175' font-size='14' fill='#7a7266'>两边各 8 个候选</text>
<text x='411' y='175' font-size='14' fill='#7a7266'>8 对 128 个候选</text>
</svg>

也别把 FLOPs 换算成秒。EBR 每走一步都做前向和反向计算,反向算出的是怎么更新隐状态,模型权重不变。不同题目又会在不同步数停下,单题省下的算量未必能原样变成整批请求的吞吐。工程上要看同硬件、同精度、同批量下的延迟和吞吐。

训练也得另记一笔。作者报告,EBR 在数独上比 GRAM 少用 15% 训练 FLOPs,在 N 皇后和图着色上却用了 GRAM 的 1.2–3.7 倍。数独这一项的训练和推理账都好看;换个任务,不能默认训练也便宜。

训练时,SXM 推进多条隐状态轨迹,只对解码结果最贴近训练目标的一条回传梯度,其余轨迹保留供后续选择。论文的消融实验显示,Maze-Hard 未从探索中获益;数独上,K=2 改善了单样本准确率,继续增大 K 则未见进一步收益。

停得下来,未必选得对

一条 EBR 推理轨迹从随机隐状态出发。能量衡量当前状态和题面有多相容,梯度给出下一步往哪改;投影梯度的范数低于阈值,这条轨迹就停。多跑几条,模型按最终能量挑最低的,不请外部验证器给候选排序。

我更在意的是,停步信号只管还动不动。错解也能停在稳定点,低能量也不等于满足数独规则。论文里,数独按最终能量排序比按梯度范数排序效果好。这支持把两种信号分开用,却还不能证明能量足以替代验算。

我最想看的对照,是从同一批随机起点出发,保留早停和固定步数各自的候选,再用规则离线验算。有正确解却没排到首位,问题在排序;停下时没有正确解、继续算才出现,问题在早停;算到固定步数仍无正确解,就别指望换个打分函数救回这批候选。只看最终准确率,这几种失败会混在一起。

换道题,连答对的定义都会变

Maze-Hard 就有现成的例子。同样是 5 个样本,要求输出和标注路径完全一致,EBR 得 88.3%;接受任意最短路径,得 94.8%。模型没变,换的是判卷规则。多解任务还有另一笔账:10 顶点图着色的单样本评测里没有冲突,但按论文沿用的计数口径,20 个样本只覆盖了 54.5% 的不同有效解。容易交出一个有效答案,和能找到许多不同答案,是两回事。

345 倍足以让做循环推理的人认真试早停,还不足以给语言推理做预算。数独有现成的规则,能查出模型是没找到正确解,还是找到了却没选中。换成缺少可靠判卷标准的语言任务,更难的实验是让模型在几个都已收敛、看起来也都说得通的答案里选对。那一关过不去,提前停只会让错答来得更快。