2026年11月3日，Collinear AI 发布代码安全防御基准 CWE-bench v2，在 Hugging Face 上开源了包含 100 个任务、覆盖 91 种 CWE（常见弱点枚举）的公开测试集。在受测的 11 个模型中，Gemini 4 Argon 以 67.8% pass@1（单次尝试通过率）和 3.92 美元的单次运行成本领跑，Claude Opus 5.5 以 67.3% pass@1 和 1.83 美元紧随其后，而 DeepSeek V4.1 Flash (1017) 则以 0.04 美元的单次成本跑出 57.0% pass@1。如果只看公开博客，这像是一场前沿模型在安全防御上的常规刷榜；但拆开评测机制与全量数据，这其实是各家智能体脚手架（Harness）的捆绑混战，且直接暴露了 AI 自动修补漏洞在工程落地上的盲区。
与 SWE-bench Pro（642 个任务）给定具体 Issue 描述让模型按图索骥改代码不同，也与 CVE-Bench（40 个高危 Web 漏洞）专注红队攻击或 CyberSecEval 4（142 个案例）侧重已知 C/C++ 漏洞修补不同，CWE-bench v2 考的是端到端盲审。智能体拿到一个真实开源仓库和一句简短指令，必须在 1 小时时限内自主定位未知漏洞并生成补丁，同时保证原有业务功能不报错。为了防止模型在预训练阶段背诵历史答案，评测集并未直接照搬原生的历史 CVE，而是基于真实 CVE 关联的开源仓库，向其中人工新注入私有漏洞，并在验证器中专门拦截直接照抄上游原版补丁的作弊行为。
跑分背后的脚手架捆绑与两个隐藏温差
仔细核对 CWE-bench v2 官网与 Hugging Face 榜单的底层配置，会发现主榜单并非纯粹的底层大模型裸考，而是模型与各自专属脚手架的系统级捆绑。在官方评测中，Gemini 4 Argon 搭配的是 Antigravity，Claude Opus 5.5 搭配 Claude Code，GPT 搭配 Codex，而包括开源模型在内的其余多个模型则统一搭配 opencode。
榜单前两名的 0.5% 微弱分差，测出的是模型加专属脚手架的综合工程力。
这种变量混淆已经引来第三方评测机构的修正。Artificial Analysis 专门推出了 CWE-Bench-AA，在 120 题集合上强制所有模型统一使用 Stirrup 脚手架、单次尝试和 2 小时时限，以此剥离脚手架加成。同时，官方榜单的成本核算口径也并未完全拉齐，Claude、GPT 和 Qwen 采用脚手架实际记录的开销，而其他模型则是用轨迹 Token 数乘以 2026年11月3日的 OpenRouter 挂牌价（含缓存输入折扣）估算得出。
| 模型与搭配脚手架 | 100题公开集 pass@1 | 100题公开集 pass@4 | 单次运行成本与核算口径 |
|---|---|---|---|
| Gemini 4 Argon (Antigravity) | 67.8% (250题全集 65.0%) | 81.0% (250题全集 77.2%) | $3.92 (全集 $4.16，OpenRouter 估算) |
| Claude Opus 5.5 (Claude Code) | 67.3% | 78.0% | $1.83 (脚手架实测记录) |
| DeepSeek V4.1 Flash 1017 (opencode) | 57.0% | 官方未单列 | $0.04 (OpenRouter 估算) |
除了脚手架和计价口径，公开集与完整集之间也存在明显的成绩温差。相比 2026年10月12日发布的 CWE-bench v1（仅含 120 个全私有任务、覆盖 73 种 CWE），本次 v2 的完整基准实际上扩展到了 250 个任务（覆盖 185 种 CWE），由开源的 100 题与私有的 150 题保留集组成。Gemini 4 Argon 在 100 题公开集上拿到了 67.8% pass@1，但在官网 2026年11月2日更新的 250 题完整榜单上，其成绩回落至 65.0% pass@1（77.2% pass@4），单次平均成本也上升至 4.16 美元。
- 结论.企业技术团队在参考该榜单选型时，不能把公开集跑分直接等同于模型底座能力；搭配 opencode 跑出 57.0% 的 DeepSeek V4.1 Flash 在抹平脚手架差异后，实际性价比优势可能比账面数字更大。
离真实安全投产还差哪 19% 与验证器黑盒
把目光从厂商刷榜移回企业安全运维（SecOps）的真实场景，CWE-bench v2 揭示的最大现实是 AI 自动修补漏洞依然存在两成硬盲区。在 100 个公开任务中，虽然有 95 个任务被至少一个受测模型解出，但即便是排第一的 Gemini 4 Argon，在每个任务连续尝试 4 次后，依然有 19% 的任务全军覆没。
更棘手的工程障碍在于指标幻觉。Gemini 4 Argon 高达 81.0% 的 pass@4 看起来已经逼近可用水位，但这代表 4 次尝试中至少有 1 次成功。在评测基准里，Harbor 框架内置了写好的确定性程序化验证器，可以从 4 个候选补丁里自动挑出正确的那一个；但在真实生产环境中，企业恰恰没有针对未知漏洞的完美验证脚本，安全工程师根本无法从 AI 生成的 4 个补丁里低成本筛出那个既能防住攻击、又不搞挂业务的正确答案。因此，现实投产唯一能指望的只有 pass@1。
即便是官方引以为傲的确定性程序化验证器，本身也存在单薄之处。Collinear AI 强调 v2 的验证器经过了 LLM 裁判团打磨，但在 v1 阶段披露的 5,280 次测试尝试中，LLM 裁判是在看到程序验证器运行结果的前提下做出的判断；当时双方一致性为 93.9%，其中有 200 次尝试程序验证器判定通过，却被 LLM 裁判团驳回。这说明仅靠阻断特定攻击载荷（Payload）加上原功能回归测试的二元程序验证，只能提供有界证据，并不能保证生成的补丁在面对变形攻击时依然稳固。
- 风险.企业 CISO（首席信息安全官）如果直接将高分模型接入 CI/CD 流水线做全自动代码合入，不仅要面对 19% 漏洞修不好的漏报，还可能因为验证测试覆盖不全而引入破坏业务逻辑的坏补丁。
那么，面对单次 0.04 美元的 DeepSeek V4.1 Flash 和 3.92 美元的 Gemini 4 Argon，安全团队该怎么用？差出近百倍的成本结构，指向了明确的分层路由策略：用 0.04 美元的轻量高性价比模型在日常代码提交中做全量初筛与低危漏洞修补草案，只把啃不下来的疑难杂症交给高价前沿模型，并由人工兜底审核。
而 Collinear AI 真正的商业与技术落点，其实藏在代码的最后一行标签里。他们把这套 Harbor 容器环境全部打上了 rl-environment 标签，并在评测集（每题仅 1 个弱点）之外，配套准备了超过 4,000 个多弱点任务的训练语料库。当评测集通过开源建立行业标准后，这套能实时给出确定性奖励信号（Reward）的沙盒，就会直接变成各大模型厂训练下一代安全防御智能体的强化学习靶场。接下来最值得紧盯的，是统一脚手架下的裸模重测结果，以及谁能用这套强化学习环境率先把那 19% 的死角砸穿。