独立评测机构 METR 在2026年11月20日发布的更新中估计,GPT-6 Astra 和 Claude Opus 5.5 的 50% 任务时长门槛分别为40小时和39小时,两者的置信区间都较宽。这项指标用人类专家完成基准任务所需的时间衡量任务难度,40小时对应的是 GPT-6 Astra 成功率约为一半的任务规模。

在目标明确、反馈直接的编程和计算任务中,前沿模型多数时候能胜过有经验的专业人员,表现仍低于较大规模顶尖专家群体中的最佳水平。METR 担心,如果 AI 研发在未来几年大幅提速,留给人类评估和应对新系统灾难性风险的时间可能被压缩。报告量化了模型在一类任务上的进步,安全评测需要多久才能给出足以支撑上线决定的证据,仍缺少可直接比较的量化结果。

METR 的200小时估计已触及基准上限

合并 TH1.1 和 TH2 两套基准后,METR 估计,50% 任务时长门槛每 3.61个月翻倍,95% 置信区间为2.08至4.94个月。沿拟合趋势直接外推,到2027年7月,这项门槛可能触及基准的 200小时上限。届时需要更长、更有区分度的任务来检验趋势能否延续。200小时沿用的是人类专家耗时口径,模型实际运行多久要另行测量。

METR 没有找到公开前沿模型在这项指标上加速或减速的强证据。它在11月5日发布的另一项评估中估计,Anthropic 在定义明确的任务上提升模型能力的速度,约为2024年3月至2025年10月期间的两倍。AI 辅助研发可能解释近期提速的大部分,METR 对这项归因仍有较大不确定性。两项结果可以同时成立,因为一项追踪公开模型的基准表现,另一项衡量单家实验室在特定任务上的研发进展。

METR 在2026年11月的评测中发现,即使考虑人类完成任务所需的时间,模型在更难转化为训练环境的任务上仍表现较差,但在不同转化成本的任务上,模型表现的改善速度相近。这说明当前得分有差距,进步速度却相近,并不证明具体测试题进入了训练集。

自动测试过关后,维护者仍可能拒绝合并

METR 在2026年3月的一项研究中,请来自3个代码库的4名维护者评审296个 AI 生成的拉取请求。即使考虑了维护者判断中的噪声,约一半通过测试的请求仍达不到合并标准。研究只考察一次性交付,模型没有机会按评审意见返工。

测试通过后,审查、反馈和返工仍要计入试用成本(示意图)
测试通过后,审查、反馈和返工仍要计入试用成本(示意图)

这项结果给软件团队提供了一个更贴近预算的衡量办法。试用时可以把人工审查、反馈和返工都计入工时,再看最终合并了多少改动、团队实际省下多少时间。自动测试记录了代码是否满足预设条件,维护者还得决定这份改动是否值得接手。

驻场评估能发现问题,修复仍待独立复核

OpenAI 于2026年11月16日宣布与 Apollo Research、METR、Transluce 和 Goodfire 开展首阶段驻场评估,协议按项目划定范围。早期试点发现了内部智能体监控的弱点。OpenAI 称大部分已修复,外部评估者尚未验证这些修复,也未评估扩展后系统的覆盖范围。

公开报告保留主要结论,但最有信息量的证据多被删节
公开报告保留主要结论,但最有信息量的证据多被删节

Anthropic 的案例暴露了另一处限制。在11月5日公布的高访问权限研发评估中,METR 可以公开主要结论,但它认为最有信息量的证据大多被删节。Anthropic 给出的理由是保护可能帮助竞争对手的机密信息。评估者亲眼看到的材料和采购方能拿到的材料,由此有了不同的范围。

<svg viewBox='0 0 660 214' width='100%' height='214' role='img' aria-label='从驻场取证到上线决策的三个核查环节'>
<rect x='1' y='1' width='658' height='212' rx='14' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='30' y='40' fill='#b25a3a' font-size='20' font-weight='700'>上线前的证据链</text>
<line x1='30' y1='57' x2='630' y2='57' stroke='#e2dccf' stroke-width='1'/>
<rect x='30' y='88' width='176' height='96' rx='9' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='242' y='88' width='176' height='96' rx='9' fill='#fbf9f4' stroke='#b25a3a'/>
<rect x='454' y='88' width='176' height='96' rx='9' fill='#fbf9f4' stroke='#e2dccf'/>
<line x1='213' y1='136' x2='229' y2='136' stroke='#7a7266' stroke-width='1'/>
<polygon points='229,132 235,136 229,140' fill='#7a7266'/>
<line x1='425' y1='136' x2='441' y2='136' stroke='#7a7266' stroke-width='1'/>
<polygon points='441,132 447,136 441,140' fill='#7a7266'/>
<text x='118' y='128' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>驻场取证</text>
<text x='118' y='155' text-anchor='middle' fill='#7a7266' font-size='13'>记录测试发现</text>
<text x='330' y='128' text-anchor='middle' fill='#b25a3a' font-size='17' font-weight='700'>独立复测</text>
<text x='330' y='155' text-anchor='middle' fill='#7a7266' font-size='13'>核验交付版本</text>
<text x='542' y='128' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>上线决策</text>
<text x='542' y='155' text-anchor='middle' fill='#7a7266' font-size='13'>明确延发条件</text>
</svg>

采购方审阅安全材料时,可以要求实验室写明报告覆盖的模型版本、工具权限和防护配置,以及外部评估者能否用这套配置复测修复。等到排定发布日期,还要看哪项未通过的测试会触发限用或延发,以及谁有权作出这个决定。否则,即使评估提前发现了问题,也未必赶得上改变实际部署。