开源社区近日出现了一个扎眼的代码评测数字:开源项目 GVS5H 在其论文中宣称,通过一种名为基于账本的零样本自我编排架构,在本地运行的开源模型 Qwen3.8-27B 拿下了 92.4% pass@1 的成绩,逼平了商业旗舰 Claude Fable 5 单调用评测的 90.4%。在开源仓库的介绍里,作者甚至打出了“五分之一成本或单 GPU 获得 Fable 5 级代码能力”的招牌。

这看起来是一场开源对闭源巨头的绝妙平替。然而翻开其运行明细与 Token 消耗账本,这个结论存在着显而易见的认知落差。开源小模型之所以能跨越近 26 个百分点的能力鸿沟,本质上是用多轮系统级调度、外挂上下文与数千万 Token 预算,对抗对手单次调用的非对称战术。

账本编排的巧思:小模型如何借文件系统跳级

作为基础权重的 Qwen3.8-27B 于 2026 年 8 月 14 日以 Apache 2.0 协议发布,是一个参数量 27B 的稠密视觉语言模型。在标准单次调用测试中,它面对 LiveCodeBench release_v6 最新的 100 道 Hard 级算法题目时,得分仅有 66.8%。相比之下,2026 年 6 月 9 日发布的商业模型 Claude Fable 5(后于同年 9 月 1 日被 Fable 5.1 替代)单次调用就能拿下 90.4%。

外挂读写状态:模型通过本地硬盘持久化读写小步迭代,绕开超长上下文开销
外挂读写状态:模型通过本地硬盘持久化读写小步迭代,绕开超长上下文开销

GVS5H 提出的解决方案并不改动模型权重,而是一种完全无需额外训练的推理时编排方案。系统启动同一个模型的多个无状态全新实例,分别承担管理节点与执行节点的角色。这些节点并不依靠传统的聊天对话历史来维持记忆,而是共同读写宿主机上的一个共享文件账本,里面记录着任务拆解规划、解题思路笔记和当前代码解法。

文件账本零样本自我编排逻辑(GVS5H) 管理实例 接收 Hard 题干 问题解构与任务派发 状态机控制循环 共享文件账本 (Ledger) • 任务执行规划 (Plan) • 调试记录 (Notes) • 当前候选解法 (Code) 工作实例集群 无状态全新节点 针对步骤编写补丁 输出覆盖写入账本

在这一架构支持下,Qwen3.8-27B 依靠在固定后端进行的 5 轮完整跑分(共计 500 次解题尝试),成功解出了 462 次,最终算得平均 pass@1 为 92.4%,涨幅达 25.6 个百分点。这种外部状态持久化的机制确实行之有效,它把大模型容易迷失方向的单长程生成,拆分成了若干次小步迭代和文件读写。

五分之一成本的幻觉:被偷换的型号与膨胀的账单

然而,项目对外宣传的“以五分之一成本获得同等能力”,在财务核算上偷换了概念。

膨胀的真实账单:两款模型百题测试的纸面花销相差数倍,并非宣传中的低廉替代(示意图)
膨胀的真实账单:两款模型百题测试的纸面花销相差数倍,并非宣传中的低廉替代(示意图)

仔细核对论文公布的明细账单可以发现,真正做到大幅度压低调用费用的,并不是本地部署的 27B 模型,而是同系列的云端轻量版 Qwen3.8-Flash-Next。该模型编排后的得分为 93.0%(单调用为 84.2%),百题消耗的 API 费用为 5.76 美元,确实仅为 Claude Fable 5 单调用成本(61.11 美元)的 9.4%。

参与评测模型运行模式LiveCodeBench Hard 得分百题名义账单相对 Fable 5 支出
Claude Fable 5单次调用(早版本脚手架)90.4%$61.11100%(基准)
Qwen3.8-Flash-Next文件账本自我编排93.0%$5.769.4%
Qwen3.8-27B标准单次调用66.8%未单列牌价-
Qwen3.8-27B文件账本自我编排92.4%$47.8278.3%

宣传标题将 Flash Next 的低成本(不到十分之一)与 27B 模型的自建属性嫁接在一起,拼凑出了“五分之一成本或单 GPU”的传播口径。

按照官方公布的输入每百万 Token 0.21 美元、输出每百万 Token 2.55 美元的牌价计算,Qwen3.8-27B 在编排模式下解完 100 道 Hard 题的名义 Token 成本高达 47.82 美元。这一支出相当于 Claude Fable 5 单次调用的 78.3%,实际节省比例仅有 22% 左右,与标题许诺的五倍成本优势相去甚远。

百题名义成本与实测跑分对照 Claude Fable 5 (单次调用) 90.4% 百题名义成本: $61.11 基准对比线 (100%) Qwen-Flash-Next (编排) 93.0% 百题名义成本: $5.76 名义支出仅 9.4% (真降本) Qwen3.8-27B (编排) 92.4% 百题名义成本: $47.82 占旗舰 78% (仅省 22%)

更深层的差距在于背后的算力倾斜。在整个评测周期内,Qwen3.8-27B 管理端在 100 道题上累计消耗了 1.51M 输入 tokens 和 18.63M 输出 tokens。它是通过反复尝试、不断写盘重试堆叠出高命中率的,而不是其权重本身展现出了超越旗舰的单步逻辑推理能力。


非对称的评测暗战:截断的单调用与未解的泛化

仔细推敲测试流程,双方所处的起跑线并不一致。

算力与机时负荷:单卡全速跑完多轮测试的背后,是持续运转的隐形电耗账单
算力与机时负荷:单卡全速跑完多轮测试的背后,是持续运转的隐形电耗账单

首先是上下文预算的不对等。在单调用基线测试中,Qwen3.8-27B 的 128k 截断数据并非模型的原生生成结果,而是在 250k 上下文生成完毕后强制截断重测而得。但在多 Agent 编排模式中,128k 仅仅是单次请求的上限,系统通过多轮调用实质上获取了数千万 Token 的累加开火权。与此同时,参与对比的 Claude Fable 5 只是在早前版本的脚手架上经由 OpenRouter 进行单次作答,并没有享受到这套多 Agent 纠错外挂。

所谓平替并非发生在同一个竞技维度,而是一套重型系统对单次调用的非对称压制。

评测集本身的严谨度也存在争议。研究者在测试套件中修改了标准 LiveCodeBench 的环境逻辑,包括修复 stdin 输入读取逻辑以及调整了 4 个答案检查器。而且,论文并未公布针对模型训练截止日期与题目比赛日期的防污染筛查。在仅有 100 道题的样本容量下,92.4% 与 90.4% 的点估计差异并不具备充足的统计学显著性;此前该论文在 arXiv 的 v1 版本中,Qwen-27B 的编排成绩(86.4%±2.7)甚至略低于当时的 Fable 5(87.4%±1.1)。

  • 风险.算法竞赛的刷分机制无法等同于真实工程能力,该套系统在短逻辑、确定性边界的算法题上表现出色,但尚未在 SWE-bench 这类需要理解大型代码库的工程场景中验证泛化性。

硬件成本的隐形账单同样不容忽视。尽管项目强调支持单张 GPU 配合 vLLM FP8 运行,但论文通篇的经济账都是依据商用 API 牌价反推的,未披露单卡复现 500 次解题所需的具体 GPU 型号、运行机时与显存开销。

对于技术决策者而言,GVS5H 的真正价值不在于推翻了闭源大模型的技术高地,而在于验证了持久化状态文件能够显著弥补小尺寸模型的注意力衰减。但在采纳此类编排前,企业必须算清本地推理机时与膨胀 Token 构成的真实账单,切忌把算法刷榜的分数误当作可以零成本落地的万灵药。