Import AI第469期把两项新评测放到了一起：DiG-bench要求AI在游戏中推断未写明的规则，Faraday则让一个监督器模型调度编程代理，完成科研复现任务。两者都试图回答同一个问题——大模型能否从“按指令做题”走向主动发现。
目前的答案偏谨慎。前沿系统已经能探索规则、拆解任务并调用工具，但证据还不足以支持“AI科学家已经出现”。它们离人类级发现仍有实质差距，更谈不上确认递归自我改进已经启动。
DiG-bench与Faraday开始测量“发现”，但测的不是同一种能力
DiG-bench收录了70款隐藏规则游戏，只公开其中21款。模型不能只读说明书作答，而要通过试错摸清目标、机制和例外条件。这类任务比常规问答更接近真实环境：规则往往不完整，失败本身也是信息。
在最高难度Tier 7中，只有Opus 5和Fable 5取得部分成功。按照项目方的统计口径，前沿系统的成功率约为20%。人类可以完成全部单项测试，但这只能证明题目可解，不能直接写成人类在统一条件下取得了100%通过率。
Faraday测的是另一件事。它是一个在Qwen-3.6-27B上后训练得到的27B参数监督器模型，通过调用OpenAI Codex，执行Replica中的科研复现任务。它负责组织步骤、检查进度和推动代理继续工作，而非独自完成所有实验。
| 项目 | 实际测试内容 | 已显示的能力 | 尚不能证明 |
|---|---|---|---|
| DiG-bench | 从交互中推断隐藏游戏规则 | 探索、试错、归纳机制 | 能提出有科学价值的新问题 |
| Faraday | 调度Codex完成科研复现任务 | 任务拆解、工具调用、过程监督 | 能独立提出并验证原创假设 |
| 人类参照 | 可完成全部单项测试 | 证明高难任务具有可解性 | 与模型处在完全相同的时间、工具和预算条件下 |
这两项评测确实比静态考试更进一步。它们开始考察AI如何在信息不全时行动，而非只检查答案是否命中。
但“发现”在这里被拆成了局部能力。DiG-bench测规则归纳，Faraday测科研工作流组织。真正的自主科研还包括选题、提出可证伪假设、识别异常、修改实验，并让外部团队重复得到同一结果。当前系统只覆盖了其中几段。
Faraday的成绩包含监督框架、工具和裁判，不能当作裸模型排名
Import AI将Faraday与Opus 4.8、GPT-5.5等系统横向比较。这样的榜单有参考价值，却不能被简单理解成“27B模型超过更大的前沿模型”。
Faraday在特定评审体系中呈现出的优势，来自一整套组合：外层监督框架、OpenAI Codex的执行能力、任务拆解方式，以及评审模型认可什么样的复现结果。不同参评系统是否使用Claude Code等执行框架、获得多少次重试、消耗多少推理预算，并不完全一致。
几个关键问题仍需回到原始报告核对：
- 成功率按单次运行计算，还是允许多次尝试后取最佳结果；
- 人类和模型是否使用相同资料、工具、时间上限与算力预算；
- 样本量是否足以支持模型间的细微差异，有没有置信区间；
- “复现成功”由模型裁判判定，还是经过领域专家和独立实验验证；
- 每完成一个可接受结果，实际消耗了多少API费用、工程时间和人工复核成本。
如果这些条件没有统一，榜单更接近“系统方案在特定赛制下的成绩”，而不是无条件的模型智力排名。尤其是模型裁判容易奖励形式完整、叙述顺畅的结果，却未必能发现数据泄漏、实验偏差和统计错误。
历史上，科研AI的价值往往先出现在边界清楚、验收严格的任务中。2020年的AlphaFold 2证明，AI可以在蛋白质结构预测上取得重大进展；它的说服力来自明确目标和后续实验检验，而不是“AI已经理解生命科学”的泛化口号。Faraday若想获得同等级别的信任，也需要独立团队复现其复现结果。
这也解释了为什么Import AI作者提出的“2027年中达到人类水平”只能视为个人预测。递归自我改进要求AI产出能够可靠改进下一代模型或科研系统，并形成可重复的增益循环。眼下看到的是代理工作流进步，还没有看到这一循环被证实。
实验室和企业技术负责人据此决定是否增加代理式科研预算时，更稳妥的做法是先做限额试点。采购合同和内部验收可以盯住四项指标：固定预算下的复现通过率、领域专家返工时间、独立复核结果，以及每个有效产出的总成本。达不到这些门槛，“AI科学家”只是产品标签。
Meta强调能力普及，但算力、分发和验证权仍可能集中
Import AI把两项评测与扎克伯格关于“个人超级智能”向大众普及的叙事并置。这个连接更多是政治问题，不是技术结论：如果AI逐步获得科研与发明能力，谁能使用这些能力，谁又能决定它们如何扩散？
Meta长期采用Llama权重开放路线，与主要依赖封闭API的OpenAI、Anthropic形成对照。开放权重可以降低部分开发门槛，却没有自动解决算力、数据、芯片、云平台和应用分发的集中问题。普通研究团队拿到模型，不等于承担得起长时间代理运行和实验验证。
“普惠”还缺一组可检查的答案：高能力模型以什么许可证发布，危险能力如何分级，谁能查看评测材料，事故和滥用如何披露，第三方研究者能否独立审计。扎克伯格的公开论述强调能力应广泛分配，但尚未回答超级智能将怎样改变企业、政府与个人之间的权力关系。这是叙事缺口，并不意味着Meta已经发生了具体安全事故。
政策研究者接下来应少盯“超级智能何时到来”的单一时间表，多看三类制度事实：模型权重是否真正可获得，运行所需算力是否被少数平台控制，关键评测是否允许外部复核。技术扩散若只发生在权重层，基础设施和验证权仍集中，所谓普及就会打折。
对科研团队也是同理。真正影响预算的变量，不是模型能否写出一份像论文的报告，而是研究负责人能否在固定成本内复核它、承担错误后果，并把产出交给同行重复。纸上得来终觉浅，科研代理最终仍要过实验这一关。