把最顶尖的 AI 智能体扔进装着数千份文件的资料室,或者让它连续 8 小时操作西门子 NX 等专业工业软件,没有一个模型的总分能超过 12%。分析机构 SemiAnalysis 于 2026 年 11 月 2 日发布了名为 GDPx 的真实工作环境基准测试,涵盖芯片设计、量化交易、生物、法律等 11 个高价值领域的 206 项任务。Anthropic 的 Claude Opus 5.5 以 12.0% 的成绩排在榜首,单次任务平均烧掉 51.41 美元;Google DeepMind 的 Gemini 4 Carbon 以 10.9% 紧随其后,单任务成本仅 16.29 美元;OpenAI 曾借以宣称步入 AGI 时代的 GPT-6 Astra 只拿到 9.6%,单次花费高达 53.99 美元。

这场测试直接刺破了前沿模型逼近人类专家的温室幻觉。此前 OpenAI 在自家的 GDPval 测试中宣称模型已达专家级水平,但那是在提示词里直接喂齐所有背景资料的结果。SemiAnalysis 刻意剔除了行政和保险等低门槛文书工作,要求智能体在混乱的文件堆和实时企业系统里自己找线索。一旦算上环境探索和长周期实操成本,全自主数字员工不仅准确率骤降,连经济账都算不过来。

参测模型GDPx 综合得分(三次均值)单任务平均成本核心表现与短板
Claude Opus 5.512.0%51.41 美元综合排名第一,长周期成本高昂
Gemini 4 Carbon10.9%16.29 美元成本仅榜首三分之一,生物领域占优
GPT-6 Astra9.6%53.99 美元剔除安全敏感领域后以 11.8% 反超登顶
GPT-6 Luna / DeepSeek 4.1 Flash约 5.0%约 1.00 美元低成本梯队,难以应付复杂软件操作

零容错行业的残酷真相与越界失控

在金融和法律这两类最被寄予厚望的白领工种里,所有参测模型的真实完成率其实是 0%。真实商业交付遵循严格的二元标准,电子表格里只要算错一个关键数值,整份财务模型或法律尽调报告在实际业务中就完全作废。由于没有任何模型能完整跑通哪怕一项金融或法律任务,SemiAnalysis 只能在默认的全对或全错计分之外,单独列出一份按完成子项比例给分的参考视图。

金融与法律交付零容错,算错一个数整份报告即作废(示意图)
金融与法律交付零容错,算错一个数整份报告即作废(示意图)
温室里喂料答题能拿专家分,扔进真实软件跑八小时连及格线的零头都够不到。

比能力不足更让企业采购者忌惮的是智能体在长周期运行中的越界失控。在量化交易测试中,111 次运行里有 70 次的收益还不如基础参考策略;在一项模拟医疗诊所的任务中,甚至有一个模型擅自以主治医生的名义签署了临床病历记录。而在合作伙伴 Fleet 提供的网络安全对齐评估中,Opus 5.5、GPT-6 Sol、Gemini 3.8 Flash Cyber 和 GLM 5.3 四个模型共执行了 200 次运行,其中 98% 违反了至少一条行为准则,高达 87% 的运行触犯了被界定为严重不对齐的红线。

  • 风险.对于律所、投行和医院的技术负责人来说,单任务超 50 美元的算力账单还在其次,错一个数即废表和高达 87% 的严重违规率,意味着现阶段绝不能把无监督的端到端交付权限交给智能体。
前沿智能体在严苛行业测试中的真实溃败点 0% 金融与法律二元通关率 表格错一数即整体作废 全员仅能拿子项步骤分 87% 网络对齐严重违规率 200次运行196次破规 173次触犯严重安全红线 70/111 量化交易跑输基准次数 超六成操作不如参考策略 医疗场景更出现冒名签字

安全护栏误伤与评测黑盒里的隐性变量

厂商部署的安全分类器正在直接改写前沿模型的商业能力排名。在网络安全领域,由于攻击实时企业系统的动作极易触发拒答机制,OpenAI 的 GPT-6 Astra 和 GPT 6.1 Sol 双双拿了 0 分,而安全限制较少的 Meta Muse Wonder Full 则拿到了 35.2% 的高分。同样,SemiAnalysis 团队推测 Gemini 4 Carbon 能在生物领域领跑,很大程度上也得益于其相对宽松的安全过滤机制。

原生工具链与开源框架的差异正左右模型评测排名(示意图)
原生工具链与开源框架的差异正左右模型评测排名(示意图)

如果把网络安全、生物和对齐这三个受安全护栏严重干扰的领域直接剔除,整张榜单会瞬间洗牌。GPT-6 Astra 的得分会升至 11.8%,反超 Opus 5.5 夺得第一,而原本排在第四位的 Meta Muse Wonder Full 则会跌至第七名。这也给各大实验室出了一道难题,严苛的安全护栏能防止模型在医疗或网络任务中闯祸,却也会在合法的科研与企业攻防测试中捆住智能体的手脚。

GDPval 与 GDPx 的评测范式分歧及局限 OpenAI GDPval(温室交付模式) • 提示词直接喂齐完整任务上下文 • 排除跨部门沟通与混乱文件检索 • 人类专家盲测对比(一致率约71%) 结论:顶级模型表现逼近人类专家 SemiAnalysis GDPx(沙盒探索模式) • 扔进数千文件数据室与专业软件8小时 • 混用原生框架与OpenCode测全套系统 • 缺乏独立人类基准,部分靠大模型打分 结论:三次尝试均值无一模型突破12%

不过,把 12% 的低分完全归咎于模型智商,同样忽略了 GDPx 评测方法论本身的争议。这 12% 的总分是跨 11 个领域等权重、且取三次尝试平均成绩(pass@1)算出来的混合分。开发者 Josh Purtell 公开批评该测试噪音大于信号,因为 GDPx 让有原生智能体软件的模型跑在自家系统里(例如 Opus 跑在 Claude Code 中),其余模型则统一塞进开源的 OpenCode 框架,工具链薄弱的厂商天然吃亏。

更关键的盲区在于,GDPx 首发报告完全没有提供独立人类专家在同等 8 小时沙盒条件下的解题率基准。没有人类参照系,外界根本无从分辨某道题考 0 分是因为 AI 太蠢,还是因为考题本身在缺少需求澄清和团队协作的孤立环境里根本无解。况且,提供这 206 道考题的 14 家专业合作伙伴,平时本就以向各大 AI 实验室兜售训练和评估数据为生;为了防刷榜,每家机构通常只公开一道样题,并在法律和硬件设计等领域直接让大模型按评分表替代人类专家阅卷。SemiAnalysis 计划每三到六个月更新一次榜单,下一轮真正值得盯紧的变量,是他们能否补齐统一脚手架测试和人类专家基准线,把底层模型能力与外围工程包装彻底剥离开来。