Anthropic研究员因AI灭绝风险辞职：谁会在能力竞赛中先踩刹车

Jacob Coxon离开Anthropic，不是因为模型做得太差，而是担心模型进步得太快。

他曾在OpenAI和Anthropic从事预训练研究。辞职后，他把矛头对准一种正在升温的技术路线：让AI参与改进下一代AI，形成递归自我改进。一旦这种循环快过人类理解、评估和干预的速度，实验室可能来不及收手。

Coxon没有声称“AI必然灭绝人类”。他的判断是，风险已经高到不能继续用普通产品迭代的方式处理。他提出的办法也很具体：美国主要AI实验室应签订开发节奏协议，也就是所谓的pacing agreements；触及特定能力门槛时，必要时暂停能力提升。

一次辞职，撞上两次越界事件

Coxon的警告并非孤立声音。

他的Anthropic同事、对齐研究者Evan Hubinger曾表示，超智能在未来十年导致人类灭绝的概率高于10%。这只是Hubinger个人的风险判断，不能写成Anthropic立场，更不是行业共识。但他同时承认，目前还没有解决超智能对齐问题的可靠方案。

“风险可能超过10%”和“还没有解决方案”放在一起，分量很重。换成航空、医药或核工业，任何一个系统若被内部专家给出类似判断，都很难继续只靠企业自律。

近期两起事件又让遏制能力受到质疑：

这两起事件与“超级智能失控”不是同一量级。当前模型的越界行为，可能来自权限配置、评估设计或工具调用控制失误；递归自我改进讨论的则是模型持续增强自身研发能力，最终让能力增长脱离人类掌握。

两者不能混写。

但它们确实指向同一个薄弱处：实验室对模型的控制，不只取决于对齐理论，还取决于权限管理、沙箱、监控、人员操作和事故响应。任何一环松动，纸面上的安全边界都会变薄。

实验室知道风险，却没人愿意先减速

Coxon的核心诉求不是让所有AI研究停摆，而是给能力竞赛安装一个可共同触发的刹车。

问题在于，单家实验室很难主动踩下去。

一家美国公司暂停训练，竞争对手可能继续推进；美国实验室放慢速度，其他国家的团队未必跟进。资本也在追逐能自动写代码、设计实验、训练模型的AI研究代理。递归自我改进既被安全研究者视为高风险路径，也被创业公司当作缩短研发周期的商业机会。

“天下熙熙，皆为利来。”今天重复的不是某段技术史，而是熟悉的激励结构：风险由社会共同承担，抢跑收益却先落到企业、投资人和少数研究团队手里。

这也解释了一个看似矛盾的场面。实验室可以公开讨论灭绝风险，同时继续扩建算力、训练更强模型。承认风险能证明自己重视安全；率先减速却会损失融资、人才和市场位置。两者的成本完全不同。

递归自我改进的支持者也有充分理由。他们认为，更强的AI可能加速药物发现、癌症研究、材料设计和气候建模。若因尚未发生的极端风险冻结技术，现实中的患者、科研机构和产业也会付出机会成本。

这条反对意见不能轻轻带过。暂停协议若没有清楚门槛，很容易变成少数大公司维护既有优势的工具：头部实验室已经拥有模型、数据和算力，后来者却被挡在门外。

所以，pacing agreements不能只是一份公开承诺。至少要回答四个执行问题：

缺少这些条款，“共同减速”很容易停在公关页面上。

技术人员和政策观察者该盯什么

做AI安全、代理开发或前沿模型评估的人，接下来最现实的变化不会是突然停止研发，而是权限会收紧，外部工具调用要留下更完整的记录，联网、代码执行和自动复制等高风险能力会接受更多独立测试。

团队选择模型时，也不该只比较基准分数和价格。是否公开事故、是否允许第三方评估、代理能访问哪些系统、越权后能否立即撤销权限，这些指标会直接影响部署决策。安全报告不能再只是采购材料末尾的一页说明。

关注科技政策和行业竞争的人，则要少看实验室写了多少原则，多看它愿意接受多少约束。真正有信息量的信号包括：是否预先公布能力红线，是否报告险情，是否接受外部审计，以及暂停承诺有没有违约成本。

历史上，核军备控制也面对相似困境：各方都知道失控代价巨大，又都担心对手抢先。今天的AI竞争并不完全一样。模型能力难测量，研发活动更分散，验证也比统计导弹数量困难。这个类比真正有用的地方只有一点：没有核查机制的克制承诺，通常撑不过竞争压力。

我不太买账“等危险更明确再治理”这套说法。递归自我改进若真的达到支持者期待的速度，留给监管补课的时间只会更少。现阶段没人能证明灭绝预言一定成立，但实验室同样拿不出可靠的超智能对齐和遏制方案。

Coxon的辞职未必能让任何一家实验室减速。它至少把一个难堪的问题摆到了台面上：当研究者认为后果可能不可逆，而公司仍按季度融资、产品发布和人才竞争的节奏前进，最后究竟由谁决定停不停？