大模型强化学习近来陷入一种非此即彼的惯性：要么模仿DeepSeek-R1和GRPO，让模型在稀疏的结果奖励里海量试错；要么搭一套千亿参数的独立教师模型，单向往小模型里灌注离线知识。前者采样极其昂贵，后者则常年面临分布偏移，老师讲得天花乱坠，学生根本接不住。
2026年10月7日，Perplexity的Randy Ardywibowo、Arnav Dalal与NVIDIA研究员Jiantao Jiao在arXiv提交预印本论文（arXiv:2610.10447v1），Perplexity随后于10月21日发文阐述这一方案：师生联合在策略学习与教学框架JOLT（Joint On-Policy Learning and Teaching）。它试图打破这种二元对立，让同一个模型同时兼任特权教师与普通学生。
一人分饰两角与13倍的账面节省
传统蒸馏最大的顽疾是教学脱节。高阶教师习惯给出高深解法，低阶学生在推理途中稍有偏差，就彻底滑出分布之外。古人讲教学相长，核心正在于教者必须感知受教者的迟钝与卡顿。
JOLT的机制建立在同一套模型参数上。当它扮演教师时，系统会喂给它包含测试反馈或标答的环境特权信息，并用结果奖励以及针对学生输出的KL散度进行约束，逼迫教师用学生当前听得懂的语言去推导；当它扮演学生时，模型在自身生成的探索轨迹上，直接接收来自教师的Token级即时监督。
在数学基准MATH达到63.44%准确率的锚定点上，论文记录了一组极为抢眼的对比：JOLT相比GRPO节省了13倍生成Token（0.617M对8.04M），处理训练Token也压减了6.5倍（1.30M对8.40M）。在训练步数第75步的消融测试中，传统在策略蒸馏OPSD准确率为62.95%，OPSD叠加学生奖励为66.52%，教师仅带KL惩罚为65.39%，教师仅带结果奖励为67.87%，而完整JOLT达到了72.10%。
但这里存在必须指出的认知偏差。
曲线拟合出来的样本效率，从来不等于算力机房里的物理等待时间。
论文标注的13倍与6.5倍Token节省，全部来自MATH收敛曲线的数学拟合推导，而非真实的墙钟加速测试。让同一套模型在特权模式与受限模式下来回切换，伴随交叉反向传播与密集的上下文对齐计算，系统底层要付出不小的开销。
纯密集蒸馏在长程决策中折戟
JOLT最具启发性的地方，恰恰暴露在它失利的数据段落里。
当研发团队将基础版JOLT推进到复杂的长链路交互场景时，模型表现出现了断崖式下滑。在模拟真实数字交互的AppWorld基准中，基础版JOLT的通过率仅有51.92%，落后于GRPO的62.20%；在终端交互评测Terminal-Bench 2.1上，基础版JOLT的pass@1仅为6.56%，同样不敌GRPO的8.25%。
这个落差揭示了强化学习中长久存在的现实规律：Token级别的密集引导适合边界清晰、解题路径确定的推导，但在动辄数十步的Agent复杂环境里，教师无法预判每一个分支的蝴蝶效应。缺乏自身探索的成败闭环，学生模型学到了每一步的形似，却丢失了对全局最终目标的掌控力。
研究团队不得不引入改进版JOLT+，在教师监督之外，把学生端自身探索获得的结果奖励重新加回损失函数中。
在JOLT+的加持下，各基准得分才重新回升。消融测试第75步准确率升至73.80%，综合MATH得分达到72.59%（GRPO为68.36%），LiveCodeBench v6达到49.08%（GRPO为46.13%），AppWorld反弹至72.09%，Terminal-Bench 2.1的pass@1与pass@32也分别提升到10.96%和34.83%（GRPO对应为8.25%和30.34%）。
- 风险.若脱离最终成败的硬约束，只靠特权教师在每一步喂细碎反馈，Agent会在长程探索中丧失纠错韧性。
评估局限与工程落地的未竟之问
尽管JOLT在方法论上给出了打破稀疏奖励训练成本的思路，但要判断它能否成为工业界通用的后训练底座，目前的证据链仍显局促。
细看实验设置，LiveCodeBench测试其实复用了131道训练题目，属于测试集扩充而非纯粹的未见题泛化检验；Terminal-Bench的基准数据仅基于单次运行，未给出置信区间；而在AppWorld中，实验流程依赖Perplexity内部未公开快照的模型标识符，第三方研发者眼下很难端到端复原这套流水线。
截至2026年10月22日，研究团队仍未开放官方代码仓库，开源社区现存的同名项目属于完全不相干的表格预测工具。
- 建议.后训练团队在参考其参数共享机制时，需重点观察该方案向70B以上超大参数模型扩展时的稳定性，切勿盲目剔除探索端的结果奖励。
JOLT指明了一条务实的过渡路径：在通往纯粹结果驱动的蛮力计算之前，用单模型自适应特权教师去填补采样效率的鸿沟。但它同时也用数据证明，拐杖给得太细，学生终究学不会在复杂的泥泞道路里独立行走。