OpenAI在最新一篇技术博客里做了件挺尴尬的事:审查了自己去年公开推荐的编程基准SWE-Bench Pro,结论是这套题目里大约三成是坏的。自动化数据质量流水线标记出200个、占比27.4%的问题任务;换成五名资深工程师人工复核,数字变成249个、34.1%。两组数字都指向同一件事——这套曾被拿来接棒SWE-bench Verified的"更硬核"基准,本身也不够硬核。

这不是OpenAI第一次干这种事。此前SWE-bench Verified被查出设计缺陷和数据污染,OpenAI宣布不再用它评测,并公开建议行业转向由Scale AI设计的SWE-Bench Pro——理由是任务周期更长、更贴近真实的Agent编码场景。八个月内,前沿模型在这套题上的通过率从23.3%冲到80.3%。现在OpenAI自己说,这份"成绩单"里至少三成分数不能全信。

一年内否决两个基准,问题出在哪

四类缺陷里,过严测试和低覆盖率测试最常见:前者按某个具体实现方式判分,模型换个写法就算错;后者压根没测到题目要求的核心功能,写错了也能过。剩下两类是prompt本身的问题——要求写得不全,隐藏测试却在按没说清的标准打分;或者prompt指向错误方向,跟测试要求对不上。

这些问题的根子在于,SWE-bench系列的任务来自真实开源仓库里的Issue和PR。那些讨论原本是给人看的,维护者和贡献者反复拉扯出的共识,测试代码往往只为验证某一次具体改动写的,不是为了定义一个"隔离出来、可复现"的评测任务。拿这种材料直接改造成打分标准,天然带着噪声。

GitHub上其实已经有人先发现了。 在OpenAI这篇博客发布之前,SWE-bench的issue列表里已经挂着几条编号明确、指向SWE-Bench Pro的报告:基线任务本身跑不通、测试路径没做隔离导致相互污染、甚至有人演示了靠伪造标准输出就能"劫持"测试结果通过判分。这些线索早于OpenAI的官方审计出现,说明这次所谓"发现问题",更接近迟到的官方确认,而不是从零挖出的新料。

自己当裁判,又用自己的模型审卷

审计流程本身也值得多看一眼。OpenAI用自家Codex模型作为"调查员Agent",给它任务仓库和运行环境的访问权限,去区分哪些是可以靠看代码规范解决的正常歧义,哪些是真的题目设计有问题。这套流程标记出286个可疑任务,再交给人类工程师做最终裁决。

方法论上有个不算小的裂缝:被审查的SWE-Bench Pro,是第三方(Scale AI)设计的独立基准;审查工具却是OpenAI自己的模型。结论最终又用来强化OpenAI"我们的评测更严谨"的叙事。审计过程未必不专业,但裁判和场上球员穿同一件队服,这事本身就该被单独拎出来说。

自动流水线和人工复核的差距也不是噪声。人类标注比例(34.1%)比机器流水线(27.4%)高出近7个百分点,尤其在"低覆盖率测试"这一类上,人工命中率是机器的两倍多。这说明自动化审计目前更容易漏掉那些"测试写得太粗、模型蒙对也能过"的隐性缺陷——机器擅长抓明显矛盾,不擅长判断"够不够严谨"这种带主观经验的标准。

  • 风险.如果连基准的审计工具都由被评测方自研,后续任何"我们更可信"的结论都需要第三方复核才能站得住。

谁该重新算一遍账

对拿SWE-Bench Pro发过论文、做过内部对比的团队,这次撤回意味着历史数字需要重新审视——尤其是那条23.3%到80.3%的进步曲线,里面混进去多少"钻了测试空子"的假提升,现在没人说得清。Scale AI作为基准设计方,目前还没有公开回应审计结论,这套基准是修补升级还是被行业默默弃用,是接下来最该盯的变量。

基准从"新黄金标准"到被推翻,这次只用了不到一年

对普通读者更实际的提醒是:看到某个模型在某个编码基准上刷出高分,先别急着当真。SWE-bench Verified和SWE-Bench Pro接连翻车,说明"基准过时"不是小概率事件,而是这套评测体系目前的常态。行业需要的不是又一个"更难的基准",而是设计和审计能分开进行的评测机制。