艾伦人工智能研究所（Ai2）于2026年10月27日发布论文《Old Ideas, Novel Problems》及开源评测集，对GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6共6款大模型充当科研新颖性裁判的可靠性进行了系统测试。结论直接击穿了当前自动化科研（AI for Science）的底层假设，大模型评判科研创新的能力极度脆弱，仅修改提示词的提问角度，GPT-5.4的准确率就会出现52.6个百分点的断崖式下跌；而单次评测耗资82.05美元的专用文献检索评估系统，实际表现还不如花费2.59美元、仅靠简单提示词驱动的Claude Opus 4.6基线。
过去一年，以Ai2自家的AutoDiscovery、Sakana AI的AI-Scientist为代表的自动化科研系统，都在尝试跑通读文献、提假设、做实验、写论文的无人闭环。由于大模型极易批量生产看似合理实则炒冷饭的平庸点子，工程团队普遍引入另一个大模型充当裁判，用来过滤垃圾假设或作为强化学习的奖励信号（Reward）。Ai2此次基于ICLR 2026真实同行评审数据构建了包含154个高新颖性人类点子、145个低新颖性人类点子及154个AI生成点子的测试集，证明这套被寄予厚望的过滤机制根本立不住。
52.6%暴跌背后：大模型懂“学术政治学”，不懂科学边界
测试中最扎眼的反常数据发生在GPT-5.4身上。在区分ICLR前10%高分人类点子与Claude Sonnet 4.5无检索生成的点子的成对测试中，研究团队测试了两种提示词：提示词P3告诉模型“审稿人认定其中恰好有一个点子具备新颖性，请找出是哪一个”，GPT-5.4的准确率高达93.5%；而提示词P4直接问模型“这两个点子哪个是新颖的”，GPT-5.4的准确率瞬间跌至40.9%，比抛硬币瞎猜还低，且在55.8%的样本对上给出了完全相反的判决。
表面上看，这是模型对提示词措辞极端敏感；但拆解两个提示词的底层任务可以发现，52.6个百分点的落差暴露出大模型在两种认知模式之间的剧烈撕裂。当提示词引入“审稿人认定”这一先验框架时，模型启动的是社会学与文体学模式——它在预测人类学术共同体的审美品味，寻找哪种行文结构、修辞包装更讨顶会审稿人喜欢；而当提示词直接追问“哪个是新颖的”时，模型被迫切换到本体论判断模式，去评估点子本身的科学原创性，结果立刻方寸大乱。
大模型极度擅长揣摩人类审稿人的品味，却不知道科学的边界在哪里。
这种割裂在模型直接面对AI生成点子时尤为致命。在纯粹由人类论文构成的测试集（Human-Only）上，同样的提示词切换只让准确率波动了约7个百分点；一旦混入AI生成的点子，裁判模型就会被AI熟稔的学术黑话和工整结构迷惑。在成对比较两个AI生成点子时，Claude Opus 4.6在某些配置下的平局率（无法分出高下）高达35%，Claude Sonnet 4.5的平局率甚至超过50%。各家基础模型在对齐阶段对迎合人类评价与事实推理的权重取舍也展现出明显差异，升级版的GPT-5.4在框架切换下暴跌52.6个百分点，而前代GPT-5.2仅从81.8%微降至76.0%。
算力与工程账本：82美元的专用Agent为何输给2.59美元的裸跑模型
面对大模型裁判的不稳定，工程界惯用的解法是堆砌检索增强（RAG）和推理算力，既然模型记不住最新文献，那就给它接上Semantic Scholar或arXiv实时搜索，再给足思维链（CoT）推理预算。Ai2的实测账本直接给这种工程直觉泼了一盆冷水。
在Human+Generated测试集上，研究团队将简单提示词的Claude Opus 4.6基线，与两套专门构建的科研新颖性评估系统进行了横向对比，一套是基于文献检索与重排序管线的Idea Novelty Checker，另一套是明星项目Sakana AI旗下AI-Scientist内置的新颖性评估模块（通过多轮迭代搜索Semantic Scholar文献库进行判断）。两套专用系统的底层模型同样统一替换为Claude Opus 4.6。
| 评估方案与系统配置 | 核心机制 | 综合准确率 (Macro-F1) | 跑完全集API总成本 |
|---|---|---|---|
| Claude Opus 4.6 简单基线 | 低推理预算 + 3次调用多数投票，无检索 | 0.854 | $2.59 |
| Claude Opus 4.6 检索增强版 | 高推理预算 + 预检索5篇相关论文摘要 | 0.892 | $25.19 |
| GPT-5.6 Sol 搜索代理 | 超高推理预算 + arXiv实时多轮迭代搜索 | 0.780 | 约10倍于标准检索配置 |
| AI-Scientist 评估模块 | Semantic Scholar多轮迭代检索管线 | 0.772 | $82.05 |
| Idea Novelty Checker | 文献检索与重排序（Reranking）专用管线 | 0.642 | $30.66 |
账面结果非常残酷，花费82.05美元、走完复杂文献搜索流程的AI-Scientist评估模块，Macro-F1得分只有0.772；花费30.66美元的Idea Novelty Checker更是跌至0.642。相比之下，不接任何外部文献库、仅用低推理预算跑3次多数投票的Claude Opus 4.6简单基线，只花了2.59美元就拿下了0.854的F1分数（单次调用最高可达0.902）。即便是给Claude Opus 4.6拉满高推理预算并塞入5篇检索摘要，成本暴增近10倍至25.19美元，F1也仅仅微增到0.892。
为什么检索真实文献反而起了反作用？在现有的RAG管线中，检索器找回来的往往是字面关键词高度重合的局部摘要。当大模型视野里塞满这几篇碎片化的相关文献时，极易产生过度联想，把真正有突破的点子误判为已有文献的简单组合，或是被AI生成点子里刻意的差异化修辞骗过。在模型缺乏深层科学脉络理解力的前提下，粗放的外部文献注入不仅纯属烧钱，反而成了干扰判断的噪声。
- 结论.对于正在搭建AI for Science管线的研发团队，当前直接砍掉复杂的文献重排序与多轮Agent检索评估模块，退回低成本的多模型交叉提示词压力测试，反而能省下90%以上的API预算并获得更稳定的基线。
连评测基准自身，也困在大模型的“自循环”里
Ai2这项研究揭露了AI裁判的脆弱，但如果你仔细审视这篇论文自身的方法论，会发现一个更深层的行业困境，就连用来证明AI裁判不可靠的基准测试本身，也高度依赖同一个AI裁判。
在本次测试的所有表格里，Claude Opus 4.6几乎以碾压之势拿下了全部第一。但翻阅Noy Sternlicht等人撰写的论文细节可以发现，为了构建这套基于ICLR 2026的评测集，研究团队正是使用Claude Opus 4.6从审稿意见的优缺点中提取新颖性正负信号，也是用它抹去人类论文摘要中的实验结果声明、将人类与AI点子重写为统一结构。
尽管研究团队对50个样本进行了人工抽检（47个极性一致），但这依然构成了典型的同源偏好隐患，由Claude Opus 4.6负责筛选和改写出来的文本特征，天然最契合Claude Opus 4.6自身的判别分布。此外，测试集里的154个AI点子，全部由未联网、无工具辅助的Claude Sonnet 4.5一次性生成，研究团队直接赋予其新颖度低于ICLR前10%人类论文的弱标签。这种设计只能证明裁判模型连最基础的温室生成器都防不住，至于当面对配备了深度文献搜索与多轮反思的强科研Agent时裁判表现如何，目前的基准还给不出答案。
- 提醒.对于ICLR、NeurIPS等顶会组织者以及高校实验室而言，切勿将现有的LLM新颖性打分直接接入审稿辅助系统或强化学习闭环；在独立于Opus清洗管线的数据集完成复现之前，任何单一模型给出的高创新性判决都可能只是文体上的同源共振。