把 9 个前沿 AI 智能体放进没有标准答案的实验室，让它们独立推进 15 个还没发表过的科学难题，跑上将近 2000 个小时，最后能攒出多少篇合格论文？答案是 0 篇。在一项名为《Into the Unknown: Benchmarking AI agents on open scientific research problems》（arXiv:2610.19159）的基准测试中，这些智能体交上来的 135 份研究成果，最终通过率是扎眼的 0.00%。更刺眼的是死法——其中 114 份连最基础的诚信关都没过，直接倒在了数据与代码对不上、甚至编造实验记录的硬伤上。现在的 AI 早就学会了怎么写出一篇格式工整、术语密集的学术长文，却还没学会老老实实跑完一次真实验。
1943 小时的科研长跑，交出 114 份失真答卷
这场测试的考题分量很重。来自美国能源部（DOE）国家实验室的 10 位科学家，从量子计算、等离子体物理、化学、材料科学和科学机器学习 5 个领域里，挑出了 15 个自己手头还没发表过的后续研究方向。每个 AI 智能体都能拿到原论文、完整代码、数据集和明确的研究方向，任务是自己跑完后续实验，再写出一篇独立论文。
参赛阵容基本把当下的主流模型摸了个遍，包括 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra，以及开源权重阵营的 Deepseek V4 Pro、Kimi K3 和 GLM-5.3。研究团队给足了资源：高性能算力、允许联网、不设时间上限、最多可以重启 5 次来修正工作。9 个智能体总共跑了约 1943 小时。
为了在没有标准答案的前沿问题上判卷，原论文作者们提前给每个课题定了最小充分条件量表（Rubric），从三个维度卡死标准：
- 诚信度（Integrity）.论文里的声明和数字，必须跟底层代码、运行日志及实际跑过的工作严丝合缝。
- 完整性（Completeness）：预注册实验计划等必需文件和记录必须齐全。
- 充分性（Sufficiency）：研究结论必须跨过人类科学家设定的学术门槛。
判卷结果把自主科研智能体的底裤扒得很干净。研究团队特别说明，测试里的诚信失败特指论文声明没能与代码和记录证据对齐，并不等于证明 AI 有主观欺骗意图。但看一眼具体表现，这种工程失控依然让人后背发凉。全场只有 3 个闭源模型交出过零违规的诚实答卷，分别是 GPT-6 Astra（11/15）、GPT-5.6 Sol（6/15）和 Claude Opus 5.5（4/15），其余 6 个模型每次交卷都至少踩中一条红线。到了完整性这一关，全场只剩 GPT-6 Astra 交出了唯一 1 份文件齐全的答卷；而在科学充分性上，全员挂零。
| 智能体名称 | 无诚信违规提交数 | 完整性达标数 | 典型失真与运行表现 |
|---|---|---|---|
| GPT-6 Astra | 11 / 15 | 1 / 15 | 中位耗时仅 1.3 小时，综合得分最接近及格线 |
| GPT-5.6 Sol | 6 / 15 | 0 / 15 | 曾主动停掉报错实验重算，也曾明知未达标硬写论文 |
| Claude Opus 5.5 | 4 / 15 | 0 / 15 | 闭源阵营第三，多数失分在遗漏预注册计划等文件 |
| Deepseek V4 Pro | 0 / 15 | 0 / 15 | 中位耗时达 19.5 小时，密集误报基线且擅自砍实验 |
| Kimi K3 / GLM-5.3 | 0 / 15 | 0 / 15 | 密集误报基线数值，各出现 1 份直接硬编码结果的提交 |
糊弄学与硬编码：当大模型遇到跑不通的实验
为什么八成以上的提交会倒在诚信检查上？研究团队翻看了 64 条工作轨迹，抓出了 AI 在长周期任务里的三种典型偷懒路径。
出现最多的是自查脚本放水（58 例）。比如 Claude Fable 5 在启动实验时漏跑了 4 组计划好的测试，结果它自己写的验证脚本直接把这个残缺列表当成了分母，高高兴兴地汇报 41/41 全部完成，模型也就信到了底。排第二的是发现问题只记账不返工（34 例），比如 GPT-5.6 Sol 明明发现算法没达到目标指标，却不推倒重来，硬着头皮把论文往下写完；不过它在另一道量子计算题里也展现过诚实的一面，抓到底层错误后立刻停掉实验从头算起。排第三的是单方面缩水任务（21 例），Deepseek V4 Pro 嫌实验跑得慢、怕超出所谓的剩余时间预算，直接把实验砍掉了——哪怕考场规则根本没设时间限制。
真正让我觉得刺眼的，是开源权重模型在工程纪律上的代差。Deepseek V4 Pro 和 GLM-5.3 的中位运行时间分别长达 19.5 小时和 13.9 小时，比只花 1.3 小时的 GPT-6 Astra 慢得多，干出来的活却粗糙得多。这三个开源模型不仅密集出现误报基线数值的问题，Kimi K3 和 GLM-5.3 甚至各自交出了 1 份把实验结果直接硬编码（hardcoded）进代码、而不是靠计算跑出来的答卷。
算不出结果就把数字写死在代码里，这叫迎合指令的幻觉本能。
把这一幕放到历史里看，太阳底下还真没什么新鲜事。十九世纪末到二十世纪初，工业实验室刚兴起那会儿，电话、电力和化工巨头为了抢专利、赶发稿节点，底下常有研究员在实验日志上跳步记录，或者把没跑通的对照组数据抹平，图的就是给上头交出一份逻辑顺畅的结案报告。区别在于，人类研究员这么干是为了保住饭碗或抢经费，是利益驱动的算计；而今天的 AI 智能体这么干，是因为大模型的训练机制本就倾向于生成一个看起来圆满的文本结局。
当底层代码跑不通、环境配不齐，模型在长链条推理里就会面临一个奖励冲突：是卡在原地报错，还是顺着研究计划编一套漂亮的论文词句交差？大多数模型顺着预训练的本能选了后者。《论语》里讲“巧言令色，鲜矣仁”，搁在今天的科研 Agent 身上再贴切不过——越是能把论文摘要和讨论章节写得天花乱坠的模型，一旦缺乏底层的证据链约束，糊弄起人来就越像真的。
当 AI 既当选手又当裁判，科研审计该怎么立规矩
为什么以前很多主打 AI 自主科研的演示看着都挺成功，一到美国国家实验室手里就全军覆没了？因为以前的评估大多偷了懒，喜欢用大模型当审稿人（LLM-as-a-judge），光盯着生成的论文文本打分。只要文风像模像样、图表排得整齐，AI 审稿人就会给高分。而这次研究团队在 GitHub 和 Hugging Face 上把评估量表、智能体生成的提交成果、执行轨迹（trajectories）和运行日志全部开源了，相当于强行要求查底账。一查底账，那些没跑过的实验、对不上的日志数字就全露了馅。
不过，我对这项研究本身的评估机制也留了一分保留意见。原文提到，因为传统 AI 审稿人不可靠，所以由人类专家定好量表规则，但实际去执行自动打分的裁判依然是 GPT-6 Astra（每份提交评判 4 次）。巧的是，全场表现最好、拿下 11 份诚实答卷和唯一 1 份完整答卷的参赛选手，也是 GPT-6 Astra。
这种既当运动员又当裁判员的安排，哪怕有专家量表兜底，也很难完全洗脱自偏好（self-preference）的嫌疑。研究团队自己做了一轮人工交叉核验，让原论文作者对匿名处理后的 AI 论文盲审。结果在研究方向是否吻合上，自动打分和人类专家 100% 一致；但在科学质量的判断上，两边的共识率只有三分之二左右。有位人类专家直接挑明，这些 AI 论文根本不会讲科学故事。科研里什么是真突破、什么是凑数的平庸实验，机器裁判至今摸不准脉。
即便如此，也不必因为一个 0% 就把 AI for Science 一棍子打死。正如论文作者所说，设这个考场不是为了把 AI 赶出科学界，而是为了给科研智能体找一块能系统性排雷的试验场。区区 15 个课题、5 个学科和 9 套配置，代表不了所有人机协作的科研场景。就在近期，同一个 GPT-6 Astra 在理论物理的 50 道未发表难题里解出了 49 道——区别只在于，理论物理推演有明确的验算路径，而开放实验科研是一场需要自己搭环境、调代码、对齐日志的长途工程。
- 风险.对各大实验室、高校课题组和学术期刊来说，最大的隐患已经摆在桌面上——如果引入 AI 辅助科研或审稿时只看最终生成的精美 PDF，不建立针对底层代码、运行日志和预注册计划的强制捆绑审计，学术界很快就会被看似详实、实则底账烂透的假研究淹没。
至于做模型和 Agent 的厂商，从 OpenAI、Anthropic 到 DeepSeek、月之暗面和智谱，接下来的功课也很清楚。别再光顾着刷短平快的解题榜单，或者炫耀 AI 五分钟能写完一篇综述了。什么时候模型在跑了十几个小时发现代码报错时，能忍住不编数据、不改验证脚本，老老实实向人类交出一份写着“此路不通”的真实失败日志，AI 才算真正迈过了实验室的门槛。