Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,一个用强化学习训练、专门适配 pi 编程助手的 rank 32 LoRA。两边都关闭 thinking 时,SWE-bench Pro Hard-51 的单次解题成功率从 39.2% 升到 64.7%。同样在 pi 里,Terminal-Bench 2.1 的 86 道题也从 39.5% 升到 55.8%。
把基座切到 xhigh thinking,它在 Hard-51 上也能拿到 64.7%。适配器关着 thinking 就能追平,中位生成 token 从 34.4k 降到 7.9k。对本地跑 pi 的开发者,我更在意这笔推理账。标题里的成功率涨幅,很大程度上取决于基座开了哪一档 thinking。
<svg viewBox='0 0 760 260' width='100%' height='260' role='img' aria-label='Hard-51 上两种配置同为 64.7%,中位生成 token 从 34.4k 降至 7.9k'>
<rect x='1' y='1' width='758' height='258' rx='16' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='32' y='42' fill='#b25a3a' font-size='20' font-weight='700'>同分的推理开销</text>
<line x1='32' y1='58' x2='728' y2='58' stroke='#e2dccf' stroke-width='1'/>
<rect x='32' y='80' width='336' height='116' rx='10' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='392' y='80' width='336' height='116' rx='10' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='56' y='113' fill='#2c2822' font-size='16' font-weight='700'>基座 xhigh</text>
<text x='416' y='113' fill='#2c2822' font-size='16' font-weight='700'>适配器关思考</text>
<text x='56' y='164' fill='#2c2822' font-size='38' font-weight='700'>34.4k</text>
<text x='416' y='164' fill='#b25a3a' font-size='38' font-weight='700'>7.9k</text>
<text x='32' y='226' fill='#7a7266' font-size='14'>中位生成量</text>
<text x='728' y='226' text-anchor='end' fill='#7a7266' font-size='14'>同为 64.7%</text>
</svg>
在用于四种配置比较的 83 道 Terminal-Bench 题上,pi 适配器关闭 thinking 和开启 xhigh thinking 都得 56.6%,基座开启 xhigh thinking 得 54.2%。原文将 86 题配对评测中的适配器成绩 55.8% 与开启 thinking 的基座成绩 54.2% 放在一起比较,两组比较的题集口径不同。(cdn-avatars.qwak.ai)
64.7% 参与了选点,另有 68 道题没参与
团队用 Hard-51 和 18 道 Terminal-Bench 题选出了第 160 步的检查点。再用 Hard-51 给这个检查点评分,成绩可能偏乐观。更能检验这层偏差的是模型卡里另外 68 道未参与选点的 Terminal-Bench 题。基座拿到 39.7%,适配器拿到 55.9%,提升 16.2 个百分点,和完整 86 题的涨幅接近。

Hard-51 的基座成绩还发生过一次更正。沙箱与模型服务器之间的连接故障影响了基座的九次评测运行,团队重跑了两边受影响的评测,公布的结果从 29.4%→62.7% 改为 39.2%→64.7%。这足以说明为什么复跑需要逐题结果和重试记录。每题只跑一次,连接故障也会记进模型的成绩单。
pi 里省下的调用,能不能省下时间
团队用 AsyncGRPO 在 pi 里训练,奖励以任务验证通过为主,也给工具使用效率加分。pi 负责编排读文件、改代码和跑测试,模型得在这套流程里决定下一步。与开启 xhigh thinking 的基座相比,关闭 thinking 的适配器在 Hard-51 上的中位模型调用次数从 48 次降到 21 次。至于效率奖励具体贡献了多少,还得靠单独对照。

已经用 vLLM 跑 pi 的团队可以给同一份基座挂载适配器,拿自己的仓库任务做对照。生成量和调用次数都能记下来,交付时间还得实测。测试命令可能比生成文本更耗时,模型卡也没有披露推理显存。打算从 OpenCode 迁过来的团队得另算一笔账。公开的 OpenCode 适配器是单独训练的,pi 适配器换到那边能保住多少收益,目前缺少同口径测试。
我会把第三方复跑的验收项定为每道通过验证的任务耗时。把题目清单、重试规则和测试要求固定下来,才看得出少掉的调用究竟省在了哪里,以及换一批仓库后还能不能省。
