在编码代理的性能竞赛中,开发者往往将通过率(Pass Rate)视为圣杯,但 Runta 与 Baseten 联合发布的 FrontierHarness Eval v1.1 却揭开了一个尴尬的事实:即便模型能力持续提升,系统工程层面的隐形税依然惊人。在涵盖 22 种控制框架与 5 种主流模型的 2.7 万次运行中,高达 64.5% 的推理成本被消耗在未通过测试的任务中,其中半数以上直接宣告失败。

这不仅是简单的算力损耗,更暴露了当前 Agent 工程化的复杂陷阱——模型与控制框架(Harness)之间并不存在通用最优解,而是存在着紧密的适配门槛。

成本的“决定性”与“适配性”

实验数据表明,模型本身决定了成本波动的 92.8%,这反映了底层模型定价对基准成本的绝对支配。然而,Harness 作为控制回路的配置差异虽然仅占成本波动的 2.3%,却直接决定了单位通过率的经济价值。

没有一种 Harness 能在所有模型上保持领先。例如,Codex CLI 在 GLM-5.3 上是成本最优解,一旦更换为 Kimi-K3,其排名会从第 1 位滑落至第 16 位。这种变动性意味着,随着模型底座的迭代,原本高效的工程链路可能会迅速变得昂贵且低效。

控制框架 (Harness) 的适配困境 模型厂商定价主导 92.8% 成本波动的基准来源 Harness 适配性影响 2.3% 性价比排名的变量因素

64% 的无效支出,究竟是浪费还是必然?

关于 64.5% 的支出流向失败运行,行业内存在两种解读。一种观点认为这是工程浪费,应通过更激进的早期停止(Early Stop)机制来止损;另一种观点则指出,在复杂的编码任务中,许多失败尝试包含了对后续成功路径的诊断性信息。

实验显示,绝大多数失败运行均以充满信心的错误结论结束,而非在时间限制内自动终止。这表明,目前的 Agent 系统缺乏一种有效的自我怀疑机制,即在任务逻辑陷入循环时,系统无法及时识别并中止推理,从而导致了大量的 token 消耗。

推理成本消耗结构 64.5% 失效运行支出 35.5% 有效运行 含 52.7% 任务失败与 11.8% 超时运行

给工程架构师的启示

这份报告折射出一个明确的趋势:当模型能力趋同,Agent 工程化的重心正从模型优选转向系统预算控制。开发者在选择控制框架时,不能仅依赖于单一的通过率指标,而应建立针对特定任务集的成本-收益模型。

  • 风险.目前的基准测试仍缺乏完全开源的复现路径。在缺乏独立验证的情况下,这类评估框架可能成为特定模型厂商筛选利于自身测试用例的营销工具。
  • 建议.对于高频调用的 Agent 服务,设计基于步骤数(Steps)的成本预警机制,比单纯优化 prompt 或 cache 命中率更有效,因为每个步骤的上下文重复输入是导致成本失控的隐性黑洞。

随着编码代理在自动化工作流中的地位提升,AI 自动化不仅烧算力,更在烧着不透明的探索成本。如果 64% 的开支持续用于无效循环,那么通过工程手段提升系统的自我反思能力,其 ROI 或许远高于更换一个略微强大的新模型。