OpenAI又一次亲手掀翻了自己力荐的编程基准。这次轮到SWE-Bench Pro——几个月前，OpenAI刚公开建议整个行业从有污染问题的SWE-bench Verified转向它。如今审计结果出来：在731个公开任务里，自动化流水线标记出200个（27.4%）问题任务，五名资深工程师组成的人工复核团队则揪出249个（34.1%），OpenAI据此判断，这套"接班基准"里大约三成任务是坏的。
对靠这套排行榜给自己模型打分、再拿着分数去说服客户和监管者的整个coding agent行业来说，这不是一条无关痛痒的技术花边。
四种坏法，三成任务
SWE-Bench Pro由Scale AI设计，思路是修复Verified的老毛病：用更长周期、更贴近真实开发场景的任务，考验agent的编程能力。OpenAI先用自建流水线过一遍模型的答题记录、任务元数据和失败轨迹，挑出286个疑点任务，再交给Codex驱动的"调查员agent"反复核查，最后由五名工程师逐一复核，分歧升级人工裁决。
问题集中在四类：测试过严（把题面没要求的实现细节也当标准答案）、提示欠规范（隐藏测试要求的东西题面压根没提）、测试覆盖率低（功能没做全也能通过）、提示误导（题面指向的方向和测试要求根本不是一回事）。
731只是零头
外界谈论的"三成坏任务"，说的其实只是SWE-Bench Pro三大分割集之一。完整版本共有1,865个任务，来自41个代码仓库，拆成公开、留存（held-out）、商业三块。OpenAI这次只审了731个公开任务——留存和商业部分至今没有对外披露审计结果。
换句话说，如果坏任务比例在整个数据集里大致均匀分布，问题的绝对数量可能远不止200出头。企业和研究者拿这套基准做模型选型时，看到的排行榜分数很可能已经把这层不确定性悄悄吞掉了。
一年两次自证其伪
这不是OpenAI第一次拆自己曾经推荐过的台。此前它审计SWE-bench Verified时，针对o3模型多次运行仍解不出来的138个问题逐一复核，发现59.4%存在足以让正确解法被误判为失败的缺陷——这直接导致OpenAI宣布不再用Verified做评测，并转而推荐SWE-Bench Pro。如今Pro审计出的问题比例（27.4%~34.1%）虽略低于Verified，但足以让OpenAI撤回自己一年内的推荐。
被传歪的"23.3%→80.3%"
网上不少二手解读把这组数字理解成"旧基准打分虚高、新基准骤然打回原形"的证据，仿佛是Verified的高分和Pro的低分在打架。但OpenAI原文说得很清楚：这是同一个731任务的公开分割集，前沿模型自己在八个月里从23.3%的通过率进步到80.3%，跟另一套基准毫无关系。
这个误读之所以流传，恰恰因为大多数人没耐心分辨"同一把尺子量出的进步"和"两把尺子打架"——而这正是评测新闻最容易失真的地方。
谁来审计审计者
这次OpenAI审的不是自家产品，某种程度上削弱了"只在对自己不利时才挑基准毛病"的指控——SWE-Bench Pro是Scale AI的产品，和OpenAI没有直接利益冲突。但反过来看，连续两次拆穿主流coding基准，也让OpenAI事实上坐上了"基准仲裁者"的位置：它既是被这些排行榜测评的选手，又是判定排行榜是否可信的那一个。
评测基准一旦被拆穿，修补比宣布更难。
审计方法本身也有边界。在被标记的任务里，agent审计和人工审计的类别判断只有74%重叠，人工团队更倾向于给一个任务贴多个"坏"标签，还把"测试覆盖率低"的占比从agent版本的4.1%修正到9.4%。这说明agent辅助质检目前只能做到相对保守——抓得住大方向，漏得掉细节。
- 风险.如果没有独立于任何一家模型厂商的第三方持续审计机制，coding评测很可能陷入"基准腐化—巨头挑刺—打补丁—再腐化"的循环。
对企业和研究者来说，眼下更现实的动作是把现有SWE-Bench系排行榜的分数打个折扣看：模型之间三五个百分点的差距，很可能就落在这次揪出来的坏任务范围里。Scale AI是否会公开回应或修复这批任务，目前还没有下文，值得继续盯着。