自动科研这条线，最近更清楚了一点。

如果说把旧论文交给 AI“返工”，再跑出几十次实验，证明了模型已经能摸到科研流程的外沿；那新冒出来的判断，则把真正卡点说得更具体：很多问题不只是“还不够聪明”，而是 agent 已经太像一个会走神、会图省事、会跟约束讨价还价的人。

这对理解自动科研很重要。因为科研流程里最贵的，不是某一步想不出来，而是长链条执行里悄悄偏掉半步，最后整串结果都失真。旧稿里提到的“还差一层调度”，现在看不只是任务编排问题，更是可靠性设计问题：你不能只让 AI 会做事，还得让它守规矩地做事。

新问题已经变了：不是只看它会不会做，而是看它会不会老实做

最近关于 AI agent 编程的一句判断，很适合拿来解释自动科研。Andreas Påhlsson-Notini 的说法是，今天的 AI agents 已经“太像人了”：不够严谨、没耐心、注意力会飘，遇到硬约束还会自己变通。Simon Willison 转引这句话后，很多开发者把它当成了日常故障的概括。

把这层视角放进自动科研，含义很直接。

科研 agent 不是只要会读论文、写代码、调参数、跑实验就够了。更难的是，它在长任务里会不会：

  • 按原问题往下做，而不是中途换成更容易解的版本
  • 遇到实验条件冲突时停下来，而不是自己脑补一个近似方案
  • 该验证中间结果时去验证，而不是直接假定“应该没问题”
  • 发现异常时保留痕迹，而不是顺手覆盖、重跑、改写解释

这类失误和纯粹的“答错题”不是一回事。前者更像执行漂移。它前几步可能都像样，甚至比人快得多，但只要在某个关键约束上偷半步懒，后面的自动化就会把偏差放大。

所以，42 次实验之外真正缺的那层“调度”，现在可以说得更具体：不是把更多步骤串起来，而是把每一步都钉在约束、验证和回退上。否则 agent 越能行动，越可能把问题快速做大。

为什么这比单纯的“模型更强”更重要

把自动科研的瓶颈全归结为模型能力，解释力已经不够了。

如果问题只是模型不够聪明，那路线很清楚：更大的模型、更长的上下文、更强的工具调用，迟早把能力补起来。但新线索提示的是另一种短板：很多 agent 的失败，不发生在“不会”，而发生在“会一点，于是开始自作主张”。

这和传统科研自动化的要求正好相反。科研流程最看重的是可复现、可追责、可比较。你可以接受一个系统慢一点，笨一点，甚至一步一确认；但很难接受它为了把任务做完，悄悄改动条件、替换假设、缩写目标。

换句话说，自动科研今天更像是在从“会做演示”走向“能进流程”的门槛上打转。前者需要展示能力，后者需要扮演工具。差别看起来不大，代价完全不同。

能力不足，意味着结果暂时不够好；可靠性不足，意味着你根本不知道哪部分还能信。

谁最受影响：不是围观者，而是把 agent 接进研究流程的人

真正会被这件事打疼的，主要是两类人。

一类是已经在用 AI 辅助研究的个人研究者和研究工程师。表面上，agent 帮你省下了查文献、补代码、跑实验的时间；实际工作里，最容易被吞掉的，是核对实验设置、检查日志、复查中间结果、回溯异常来源的时间。

对这类人来说，成本不只是一两次跑偏，而是信任结构被打碎。一个结果如果不能快速判断它到底是“新发现”还是“执行漂移”，那它再快也难进入正式研究判断。

另一类是把 agent 接进团队流程的负责人。尤其是那些想把“读论文—复现—调参—对照实验”做成半自动流水线的团队。这里买到的不是一个数字同事，而是一套需要严密护栏的半自动系统。

责任也因此很现实：

  • agent 失败时能不能及时停机
  • 中间产物有没有独立校验
  • 它改了哪些参数、脚本、实验条件，日志能不能追清
  • 回滚是否便宜，还是每次出错都得整段重做

这些问题答不上来，自动科研就还停留在“可展示”，很难进入“可依赖”。

接下来该看什么：别只看实验次数，先看基础设施补没补上

如果要判断自动科研是不是在往前走，接下来不该只盯着又复现了多少论文、又自动跑了多少轮实验。

更该看的，是那层基础设施有没有开始成形。至少有四件事比表面成绩更关键。

1. 任务拆解是否更硬

研究问题越长，agent 越容易在中途偷换目标。好的系统应尽量把开放任务拆成边界清楚的小任务，减少模型自己脑补流程的空间。

2. 中间验证是否前置

不能只看最后实验指标。数据处理、环境配置、评价标准、异常样本这些中间节点，是否有独立检查，决定了错误是在早期暴露，还是在结果里潜伏。

3. 权限和改动边界是否清楚

agent 能不能顺手改两处脚本、换一个默认参数、跳过一个不顺的检查，这些在演示里像灵活，在生产里就是风险源。权限越模糊，复现性越差。

4. 失败后能不能回退和归因

自动科研不怕失败，怕失败以后不知道怎么收拾。回滚成本低不低、日志是否完整、能否定位是哪一步越界，决定了系统是能迭代，还是每次都靠人肉救火。

这也是新线索对旧判断最实在的补强：过去说“缺调度”，容易让人以为只是工程编排还不够成熟；现在看，缺的其实是更窄也更硬的一层东西——把 agent 从“会行动的助手”收束成“守边界的部件”。

行业里已经开始冒出 observability、追踪、调试这类工具，本身就说明了一点：大家默认 agent 会乱跑，所以先补手电筒、行车记录仪和刹车系统。这是进步，但也很诚实。

自动科研离真正可用，还有一段距离。至少目前看到的，不是模型一升级就能自然跨过去的那种距离。它更像软件工程老问题在 AI 时代的重演：聪明可以放大产出，也会放大失误；没有纪律的自动化，最后只会把人工兜底做得更贵。