四个项目，每个 2.5 万美元。Google DeepMind 与 Kaggle 刚为一场 AGI 认知能力基准赛发出大奖，评论区就开始追问：获奖作品的质量，真的配得上这块招牌吗？
争议里出现了“AI slop”这种很重的说法。但目前能看到的材料，只能证明质疑存在，不能证明质疑成立。被批评的是哪个获奖项目、批评者拿出了什么证据、主办方如何回应，现有截取内容都没有完整提供。
这反而把问题推向了更关键的一层：一场试图衡量 AI 推理能力的比赛，能否先证明自己的评审过程经得起核查？
超过 1000 支队伍，争的是“怎么测 AI”
这场比赛由 Google DeepMind 与 Kaggle 举办。官方目标不是再做一套知识问答题，而是征集能够超越知识复述、衡量推理与认知能力的新基准。
官方称，参赛队伍超过 1000 支。最终有 4 个项目获得 Grand Prize，每个项目奖金 2.5 万美元，合计 10 万美元。
| 关键信息 | 已知事实 | 目前缺口 |
|---|---|---|
| 主办方 | Google DeepMind、Kaggle | 完整评审流程未见于现有材料 |
| 比赛目标 | 设计衡量推理与认知能力的 AGI 基准 | 各项能力如何定义、如何加权，材料未完整展示 |
| 参赛规模 | 超过 1000 支队伍 | 初筛、复审和最终评选细节不明 |
| 获奖结果 | 4 个 Grand Prize，各 2.5 万美元 | 现有截取材料未列出完整项目名称与方法 |
| 争议内容 | 有评论质疑获奖作品质量和评审可信度 | 具体证据、作品链接及主办方回应均不完整 |
这类比赛比普通模型排行榜更难办。
模型答对多少道题，可以算分。一个新基准是否真的测到了推理，而不是换皮记忆、提示词技巧或数据污染，往往要过很久才能看清。评委评的不是一份答案，而是一把尺子。
尺子若有偏差，后面所有模型排名都会跟着偏。
“写得像 AI”与“方法无效”，差着三层证据
原始争议把获奖作品称为“AI slop”。这个标签传播很快，却把几种性质完全不同的问题揉在了一起。
| 质疑层级 | 可能表现 | 能否直接推导出违规 |
|---|---|---|
| 表述粗糙 | 文案空泛、图表敷衍、术语堆砌、论证跳步 | 不能，只能说明展示质量差 |
| 疑似 AI 辅助写作 | 句式重复、表达模板化、内容像模型生成 | 不能，除非赛事规则明确禁止且有证据证明 |
| 方法无效或违规 | 数据泄漏、结果无法复现、评分设计失真、违反提交规则 | 需要代码、数据、实验记录和规则条文支持 |
三者不能混判。
AI 辅助写作不等于抄袭，更不等于造假。项目页面写得难看，也不代表基准设计必然无效。反过来，一份包装精美的报告，同样可能藏着数据泄漏、选择性汇报或无法复现的问题。
现有材料没有提供被质疑项目的明确名称，也没有给出逐项证据。主办方是否已经解释、是否掌握未公开的代码和评审材料，目前也看不清。因此，现在直接宣布“垃圾项目骗走奖金”太早；直接把争议当成评论区噪声，同样轻率。
可核查的结论，需要落到几样具体材料上：
- 获奖方案的任务定义、数据来源和测试集隔离方式；
- 代码、提示词、评测脚本及关键实验能否复现；
- 评委采用了哪些指标，各指标如何加权；
- 是否检测数据污染、题目泄漏和针对榜单的过拟合；
- 主办方如何处理利益冲突、申诉与复核。
这些材料比“作品像不像 AI 写的”有用得多。
基准竞赛卖的是可信度，不只是奖金
我更在意的，是这场争议暴露了基准行业的一条老毛病：大家热衷于发布新分数，却不太愿意公开分数是怎么被生产出来的。
古德哈特定律常被概括为一句话：当一个指标成为目标，它就不再是一个好指标。AI 行业已经反复见过这一幕。模型团队会针对公开测试集调参，训练数据可能混入题目，排行榜接近满分后，分数与真实使用体验开始脱节。
ImageNet 曾推动计算机视觉快速发展，也让行业看到固定榜单的局限：当所有团队都盯着同一套测试集，竞争会逐渐从解决问题变成优化考试。今天的 AGI 基准不完全一样，但重复的是同一种激励——奖项、论文和商业宣传都需要一个简单数字，真实认知能力却很难被压缩成一个数字。
所以，评审透明度不是附加服务。它就是基准产品的一部分。
这不等于要求主办方公开所有私有测试题。完全公开可能带来反向工程、数据污染，也可能碰到参赛者的知识产权。合理做法是公开足够多的过程证据：评分标准、匿名评审摘要、复现检查、利益冲突声明，以及争议发生后的复核结论。
谁会直接承受这笔“信任成本”？
研究者和开发团队最现实的动作，是暂时不要把“获奖”当成“方法已经验证”。如果准备引用这些基准、接入内部评测或据此比较模型，应先检查任务定义、测试集隔离、人工基线和复现材料。少一项，结论就该降一级。
Kaggle 参赛者则会重新计算投入是否划算。千余支队伍投入时间，最后换来的不只是奖金，也包括履历和行业认可。如果评分理由含糊、申诉机制不可见，下一届参赛者会保存更多版本记录和实验日志，也会要求更细的评分反馈。否则，认真做方法的人会怀疑，自己究竟在参加研究竞赛，还是展示竞赛。
主办方接下来需要拿出的，不该是更响亮的获奖宣传，而是三类材料：获奖项目的可复现部分、足够具体的评审依据、针对质疑的正式回应。
若这些证据齐全，所谓“AI slop”可能只是对粗糙表达的过度定性。若迟迟没有，争议就会从作品质量转向赛事公信力。到那时，2.5 万美元只是小账，被折损的是 DeepMind 与 Kaggle 为整个基准背书的能力。