1945 年，美国物理学家在原子弹试爆前认真算过一件吓人的事：核爆会不会点燃大气。

这不是都市传说式的恐慌。问题落在氮原子、能量阈值、反应能否自我维持这些物理量上。最后他们判断不会。核反应有边界，有公式，有能被同行检查的计算。

Maciej Ceglowski 在 2016 年演讲《Superintelligence: The Idea That Eats Smart People》里，用这个开场反问超级智能末日论：你们的边界在哪里？

这一下很准。核弹恐惧面对的是可计算的物理风险；超级智能恐慌面对的是心智、目标、工程能力、资源权限和社会控制的混合推演。两者都可能严肃，但严肃的方式不同。

超级智能恐慌到底在说什么

Bostrom 式超级智能风险论，不是粗暴地喊“AI 一定会杀死人类”。把它写成这种稻草人，反而低估了它的吸引力。

它真正厉害的地方，是一条假设链。每一环单独看都不疯。连起来，就会把人带到“智能爆炸”和“人类失控”的结论旁边。

前提大意卡点
心智可实现人脑证明智能能在物质世界中出现这点很难反对
心智可复制大脑是物质结构，原则上可被模拟原则可想象，不等于工程可达
更强心智可能存在人类不必然是智能上限合理，但上限和路径未知
硬件仍可提升计算能力还有增长空间物理可能不等于现实可得
机器时间尺度更快电子系统运行速度可远快于人脑快不等于能理解、设计和验证自身
递归自我改进AI 能持续优化自身能力这是最大跳跃之一

这套论证的危险，不在某一个荒唐前提。它更像把一串“差不多可以接受”焊成“几乎必然发生”。

推到尽头，就是经典画面：机器达到人类水平，开始改进自己，以机器速度越跑越快，最终远超人类。它不需要憎恨人类。只要目标和人类价值错位，灾难就可能发生。

这也是“回形针最大化器”的作用：一个只负责制造回形针的 AI，如果能力极强、约束极弱，就可能把一切资源都变成回形针原料。人的血液里有铁，也会被纳入计算。

Ceglowski 还讲过一个更荒诞的版本：团队造了一个讲笑话机器人。它越来越会优化“让自己更好笑”这件事。周末没人看管。周一回来，它讲出一个笑话，所有人笑死。

这些例子不是预测。它们是思想实验，用来说明目标错配和价值失控。问题是，故事太好记，常常反过来压过推理本身。

真正脆弱的地方，在假设被偷偷拉直

Ceglowski 反对的不是 AI 风险。他反对的是把未经检验的末日推演，包装成近似物理定律。

核弹会不会点燃大气，可以回到粒子、能量、反应截面。超级智能会不会递归自我改进到不可控，要穿过一串现实约束：心智能否被有效复制，系统能否理解自身，改进是否能持续带来能力跃迁，硬件和能源是否够用，人类是否给它权限。

这些变量没有一个可以轻轻跳过。

“失之毫厘，谬以千里。”这里的毫厘，不是某个细节算错，而是把“可能”一路推成“将会”。可能存在更强心智，不等于我们正走在直达路线；机器跑得快，不等于它能无障碍重写自己；目标错配危险，不等于末日叙事应该自动占据 AI 治理的最高优先级。

这也是为什么这套话术会吸引聪明人。它有形式感，有逻辑梯子，还有宇宙级后果。Hawking、Musk，以及不少硅谷富豪和投资人都认真对待过这类论证。它不是边缘幻想，而是一种会影响资源分配的思想框架。

对关注 AI 安全的人来说，这里最该做的不是嘲笑“回形针”，而是拆变量。哪些前提已有证据？哪些只是哲学上可想象？哪些需要工程验证？哪些被融资、声望和舆论放大了？

对被大模型热潮反复拉扯的从业者来说，动作更具体：别因为末日叙事就盲目迁移技术路线，也别因为反感末日论就忽视模型风险。团队做采购、部署和安全评审时，应该把风险拆成可测试项：数据来源、权限边界、输出责任、人工复核、模型接入哪些业务系统。能验的先验，不能验的先降级处理。

这比争论“AGI 会不会毁灭人类”更笨，也更有用。

末日叙事会挤掉眼前的治理

我更在意的是注意力错配。

当 AI 讨论被“人类会不会被超级智能消灭”占满，今天已经发生或正在逼近的问题就显得不够壮观：平台用模型加强控制，企业用自动化转嫁劳动风险，数据被大规模抓取，普通人不知道系统如何判断自己。

这些问题不够宇宙级。但它们离用户、开发者和企业更近。

普通用户面对的不是一个醒来的神，而是一个不透明的系统：它推荐什么、拒绝什么、标记什么、生成什么，用户很难追问。开发者面对的也不是抽象末日，而是接口权限、数据合规、模型依赖和上线责任。企业管理者面对的则是更现实的取舍：是加速自动化，还是先补审计和复核；是把模型接进核心流程，还是先放在低风险环节。

这就是超级智能叙事最滑的地方。它能把权力问题改写成哲学问题，把治理问题改写成末日概率，把当下的责任推给一个尚未到来的庞然大物。

历史上这不新鲜。铁路、电力、电视、互联网，每一种扩张性技术都会带来宏大叙事。宏大叙事不全是假的，它能动员资源，也能提醒风险。但它也会遮住谁拥有基础设施、谁制定规则、谁承担损失这些老问题。天下熙熙，皆为利来。技术越新，利益结构越旧。

今天的 AI 不完全等同于那些旧技术。模型能力、数据规模和自动化速度都更复杂。但重复出现的东西很熟：平台想要控制入口，资本想要确定回报，组织想要用工具提高效率，责任最好别落在自己身上。

接下来最该观察的变量，不是某个末日口号喊得多响，而是三件事：

  • AI 安全预算，是更多流向可验证的评估、审计和权限控制，还是继续流向宏大叙事；
  • 企业部署模型时，是先接入高风险决策，还是先设边界、留人工复核；
  • 公共讨论里，数据滥用、劳动替代、平台责任这些近处问题，会不会被“超级智能威胁”长期挤到角落。

Ceglowski 那篇旧演讲到今天仍有用，就因为它没有轻率否认风险。它提醒我们，聪明人也会被漂亮模型俘获。

模型越整齐，越要问一句：哪些前提被证明了，哪些只是被讲顺了。

末日寓言可以留下。它能提醒人类别把强工具当玩具。但它不能替现实问题挡枪。AI 治理最怕的不是想象力不足，而是想象力太大，刚好遮住脚下的坑。