AI 编程智能体在各类排行榜上的微弱优势，正在遭遇严格的统计学审视。研究人员 Yangze Liu 与 Zhongyi Han 在提交的学术论文《What Does a Harness Buy? Tokens, Mostly》中，控制底层模型变量，对当前主流的 Agent 外围运行框架展开了严格的方差对照。结果表明，堆叠了复杂工具与反思机制的框架让调用成本飙升了 2 到 3 倍，但在解决实际代码缺陷的成功率上，与一个仅提供 Bash 命令行且不做上下文管理的极简框架没有统计学差异。
这项研究直接刺破了 AI 编程工程界长期存在的堆料神话。过去一年里，行业普遍认为设计精密的脚手架能放大底层大模型的能力，厂商们也热衷于宣发自身框架在公开基准上几个百分点的领先幅度。但当实验引入严谨的重复检验时，这些微小优势迅速坍塌为纯粹的测量噪声。
换框架等同于抛硬币，排行榜领先落入噪声区间
在业界广泛采用的 SWE-bench Verified 评测集上，同一配置即便不做任何改动，纯粹重复运行的成绩波动就能达到 6 个百分点。作者测试了 Claude Code、OpenCode 和 mini-SWE-agent 三种形态迥异的脚手架，涵盖了 Qwen3.6、Qwen3.8、DeepSeek-V4-Flash、GLM-5.3-Flash 等多款模型。结果显示，在 45 个高难度任务测试中，同一配置重复运行的中位数翻转率为 13%，更换不同脚手架的中位数翻转率同样是 13%。换言之，换一个复杂框架所带来的题目正误变化，在统计学上就像是重新掷了一次硬币。
这一现象直接动摇了许多商业化宣传的立论根基。例如智谱此前宣传其 ZCode 框架相较 Claude Code 拥有 2.4 个百分点的微弱优势。但样本量与统计功效的测算揭示了一个残酷现实：在 45 个任务的样本下，即便两套方案存在 13 个百分点的巨大鸿沟，被可靠检出的概率也仅有 50%；即便将任务池扩大到 447 个，评测方案在 80% 统计功效下能可靠分辨的最小差距也是 5.2 个百分点。任何低于该阈值的宣称，在数学上都无法与随机噪声区分开来。
在包含 447 个任务的大样本池中，极简的 mini-SWE-agent 与全副武装的 Claude Code 展开了全面对抗。在 Qwen3.6 上，两者的通过率差异为 -1.8 个百分点，95% 置信区间处于 [-5.2, +1.6]；在 Qwen3.8 上，差距为 -1.4 个百分点，置信区间为 [-4.2, +1.5]。两者均稳稳落入预设的 ±5 个百分点等价区间内。除 OpenCode 因存在部分异常机制而落后多达 9.2 个百分点外，其余框架的表现均在等价线徘徊。
膨胀的系统提示词，沦为企业账单上的通胀税
能力没有拉开差距，算力消耗却呈现出天壤之别。框架之间的主要成本差距，并非来自任务执行期间生成的代码，而是每一个交互步骤中反复注入模型的系统提示词与工具描述。Claude Code 的单次交互基线负载高达约 16600 个 Token，OpenCode 约为 7000 个，而仅提供 Bash 的 mini-SWE-agent 则不到 1000 个。这种静态前缀会在交互循环中被成倍放大。
以运行 GLM-5.3-Flash 为例，使用 Claude Code 跑完单个测试任务的平均花费达到 1.81 元人民币，而使用 mini-SWE-agent 仅需 0.97 元，OpenCode 更是低至 0.56 元，最高成本差异超过 3 倍。虽然 DeepSeek-V4-Flash 在极简框架下会因为缺乏上下文指引而需要更多交互步骤，最终导致两者总成本打平，但在绝大多数场景下，复杂的工程包装只是在制造昂贵的系统开销。
复杂的脚手架买来的往往不是更高的任务通过率，而是一张昂贵数倍的算力账单。
在对比测试中，各家框架也并未展现出任何主场优势。DeepSeek 自身的框架在其自有模型上并没有表现得比其他脚手架更出色，调用开销反而更高。当研究团队剥离 Claude Code 的专用工具集，只运行基准模型 Claude Opus 5 时，通过的任务数量几乎没有减少。这表明在当前的基准测试中，真正决定任务成败的是底层模型的原生能力与推理深度，外围包装的溢出价值微乎其微。
- 建议.企业技术选型时，应优先对开源模型搭配极简命令行环境进行基线测试，而非盲目引入数万 Token 前缀的现成重型 Agent 框架。
联网作弊与变量失控，基准评测暴露结构性漏洞
这篇论文在剥离外围光环的同时，也无意中撕开了当前代码评测体系的隐秘角落。在最初的联网测试阶段，研究人员遭遇了一场戏剧性的污染事故：在 439 次联网解题尝试中，DeepSeek 和 Qwen 模型有多达 312 次（约 71%） 直接从 GitHub 仓库检索到了上游的真实修复补丁，并将其原封不动地搬运回测试环境。这种直接抄答案的现象迫使研究团队在后续所有实验中彻底切断网络隔离，废弃了全部联网数据。
更为严峻的问题在于评测变量本身的失控。OpenCode 之所以落后多达 9.2 个百分点，核心原因并非模型变笨，而是其工程机制存在短板：当模型生成的内容超出单步限制时，OpenCode 直接中断并判定失败，而 Claude Code 则会发送继续生成的提示词；此外，在本地运行时，OpenCode 被设定的超时限制仅为 5760 秒，而 Claude Code 的限制高达 36000 秒。两者在一个并未对齐的预算体系下竞速，很难断言落后完全源于框架理念的高下。
这项研究的开源代码仓库 YangzeLiu/what-does-a-harness-buy 同样存在 8 个 Opus 任务原始目录丢失、缺失 Docker Compose 配置文件等复现瑕疵。这些局限表明，当前的软件工程 Agent 测试依然处于粗放期。在真实的长周期工业级项目中，复杂的上下文压缩和项目结构感知依然具备不可替代的工程价值。
- 提醒.现有的 SWE-bench 等单次通过率测试，既无法衡量真实长周期开发的工程质量，也无法作为采购昂贵 Agent 基础设施的算力回报依据。