把完整需求直接交给 AI 编程代理,两款代理的新行为测试通过率都提高了约 16 个百分点,完整交付数却一个也没涨。The Decoder 于 2026 年 11 月 22 日报道的这项模拟职场实验里,Claude Opus 5.5 和 GPT-6 Astra 的完整交付率都不到一成。低分容易归咎于沟通,给足需求后的结果却说明,沟通顺了,活也未必交得出去。

测试过了多少,工单交了多少

在 SWE-CoWork 里,Claude Opus 5.5 完整交付 7/101 项(6.93%),新行为测试通过率为 63.84%,回归测试通过率为 93.24%。GPT-6 Astra 完整交付 8/101 项(7.92%),两类测试通过率分别为 62.91% 和 89.15%。前者两类测试得分都更高,交付反而少一项。两款代理用的运行框架也不同,拿这一项差距排模型名次,意义不大。

两组数字的分母不同。测试通过率按测试节点汇总,测试多的任务权重更大。完整交付按任务计,同一次运行里,新增功能要符合要求,原有功能也不能跑坏,两类测试必须全过。聊天记录和交接说明只用来诊断,不参与判分。

<svg viewBox='0 0 640 210' width='100%' height='210' role='img' aria-label='测试通过率与完整交付率的分母对比'>
<rect x='1' y='1' width='638' height='208' rx='16' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='38' font-size='20' font-weight='700' fill='#b25a3a'>两种分母</text>
<line x1='28' y1='54' x2='612' y2='54' stroke='#e2dccf' stroke-width='1'/>
<rect x='28' y='73' width='282' height='109' rx='10' fill='#f5f0e7' stroke='#e2dccf'/>
<rect x='330' y='73' width='282' height='109' rx='10' fill='#f5f0e7' stroke='#e2dccf'/>
<text x='48' y='105' font-size='17' font-weight='700' fill='#2c2822'>测试通过率</text>
<text x='48' y='132' font-size='14' fill='#7a7266'>按测试节点汇总</text>
<text x='48' y='156' font-size='14' fill='#7a7266'>测试越多权重越大</text>
<text x='350' y='105' font-size='17' font-weight='700' fill='#2c2822'>完整交付率</text>
<text x='350' y='132' font-size='14' fill='#7a7266'>按任务计数</text>
<text x='350' y='156' font-size='14' fill='#7a7266'>同次运行全部通过</text>
</svg>

换的不只是工作环境

论文评估了 11 个模型,从 101 个真实代码仓库各取一项开发任务,覆盖 11 种编程语言。每项任务配有 26 名模拟同事。代理拿到简短交接后,要翻看板、文档、聊天和 CI 记录,必要时找同事确认,再动手改代码。

报道拿接近饱和的传统编程基准作对照。SWE-bench Verified 用的是从 12 个开源 Python 仓库人工筛出的 500 个 issue,代理从原始 issue 和仓库快照起步,不必找同事补需求。它同样要求修复与回归测试全过。两边连题目都不同,榜单分差不能直接算成协作拖掉的分数。

需求给齐了,卡点还在

更能检验沟通这条解释的是 Oracle-Spec。研究者保留同题同预算,仓库、测试和代理运行框架也不变,只预先给出完整需求,并取消咨询同事的环节。参与对照的两款代理,新行为测试通过率各涨约 16 个百分点,完整交付数都没增加。

<svg viewBox='0 0 640 222' width='100%' height='222' role='img' aria-label='给足需求后新行为测试通过率上升,但完整交付数不变'>
<rect x='1' y='1' width='638' height='220' rx='16' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='38' font-size='20' font-weight='700' fill='#b25a3a'>给足需求之后</text>
<line x1='28' y1='54' x2='612' y2='54' stroke='#e2dccf' stroke-width='1'/>
<rect x='28' y='74' width='282' height='120' rx='10' fill='#f5f0e7' stroke='#e2dccf'/>
<rect x='330' y='74' width='282' height='120' rx='10' fill='#f5f0e7' stroke='#e2dccf'/>
<text x='169' y='131' text-anchor='middle' font-size='34' font-weight='700' fill='#2c2822'>约 +16</text>
<text x='169' y='165' text-anchor='middle' font-size='14' fill='#7a7266'>新行为通过率百分点</text>
<text x='471' y='131' text-anchor='middle' font-size='34' font-weight='700' fill='#b25a3a'>0 项</text>
<text x='471' y='165' text-anchor='middle' font-size='14' fill='#7a7266'>完整交付净增</text>
</svg>

找需求确实是个瓶颈,但这组对照不能拆开翻资料和问同事各占多少。总数不变也不等于过关的还是同一批题。我更想看逐题日志。有些补丁也许只漏了一个边界条件,有些可能连核心行为都没做对,或改坏了原有功能。验收时都记作失败,接手修起来却是两笔账。

买编码助手,别按独立接单算账

论文没给出同条件下的人类成绩,模拟同事也共用一个底层模型。预设的披露规则可能让他们比真人更难问,写死的职责和需求却可能比真实团队更稳定。公开的算术审计曾质疑分母和图中计数,审计者接受了维护者关于舍入精度和失败类别重叠的解释。那是核账,不是独立复跑。

企业宣传里常见的 AI 代码产出占比,也不能替代交付率。买编码助手,最实在的办法是让维护者盲审补丁,看离合并还有多少返工,再算净省工时。要让代理独立接单,就把完整验收率和人工介入一起记下来,尤其看人在哪一步接了手。

需求已经摊在桌上,测试报表也好看了。此时最值钱的一项记录,是谁把没过的验收项补上了。

【锐评】采购账上别急着记功。省下的编码工时,要扣掉审查和返工,才算真省。