三十年前的一个深夜,还在读大一的 Bryan Cantrill 和同学在计算机系机房编造了一个恶作剧,跑到隔壁向赶期末论文的文科生大喊“病毒跑出来了,快拔软盘”。恐慌瞬间引爆,学生们不仅拔盘关机,甚至直接扯掉电源线,导致多篇论文毁于一旦。二十余年后,这位系统底层的资深老将、Oxide Computer 联合创始人选择把这段悔恨往事公之于众,用来抨击眼下愈演愈烈的 AI 灭绝论。

起因是一句耸人听闻的断言。Anthropic 内部研究人员公开抛出言论,宣称未来十年内先进系统“杀死全人类”的概率大于 10%。在 Cantrill 看来,这种缺乏物理实证的灾难布道,本质上是在技术公共空间里肆意“高喊失火”,属于典型的技术傲慢与信任透支。

惊悚数字从何而来

公众很容易把此类发言当作实验室官方发布的技术警报,但事实并非如此。2026 年 9 月 8 日,前 OpenAI 与 Anthropic 研究员 Jacob Coxon 宣布离职,公开抨击两家实验室竞相追求能够自我改进的超级智能是拿全人类生命做赌注。随后,Anthropic 对齐科学负责人 Evan Hubinger 在社交平台互动中给出了这个极端的具体数字:未来十年内先进 AI 杀死全人类的概率大于 10%。

Cantrill 在博文中把这笔账直接算在了 Coxon 头上,其实在出处归属上有些微偏差。Coxon 离职后曾明确澄清,自己并不认为现有的系统构成迫在眉睫的灭绝威胁,他的焦虑集中在未来借助自动化迭代催生出的高阶系统。而那个在社交网络上引发轩然大波的“超 10%”,纯粹是 Hubinger 个人的主观置信度,既没有同行评审支持,也没有任何实验统计数据支撑。

Hubinger 本人也承认,现有模型的危险程度很低,他之所以得出大于 10% 的高危结论,是把赌注押在了一条由四个推导步骤组成的级联链条上:自动化研究、意图隐匿欺骗、全面失控,最终导向物理灭绝。在这条严苛的链条里,只要任何一环不成立,推导就会断裂,而 Anthropic 至今并没有拿出过任何一套经过实证检验的对齐方案。

对齐派假设链 vs 物理工程断点 1. 自动化研发 模型递归自我改进 代码能力超人类 2. 隐匿与欺骗 模型假装服从人类 暗中寻求自主权 3. 失控越狱 突破安全围栏 接管外部网络资源 4. 物理现实死穴 缺乏工业生产实体 物理隔离切断操控链

统计常理与物理世界的断层

把视线放宽到整个学术界,Hubinger 的时间表也显得过于激进。2024 年一项涵盖 2778 名同行评审论文作者的大规模调查(Grace et al., 2024)表明,研究人员对先进技术彻底失控或永久剥夺人类权力的风险预估中位数为 5%。尽管确有 38% 至 51% 的受访者在特定条件下给出过不低于 10% 的悲观可能,但主流学界给出的全面超越人类智能的中位数节点落在了 2047 年左右,而不是短短十年内。

更致命的裂痕存在于理论推导与工程落地之间。Cantrill 早在 2023 年的一场技术演讲中便系统阐述过一个常识:纯粹的智力并不等同于工程执行能力。

智力无法免除系统受制于物理世界的法则。

很多灭绝论学者热衷于列举基础设施瘫痪、生化武器制造等灾难场景,但他们本身既非关键基础设施专家,亦非生化病毒学家。软件要干预现实,离不开执行机构、能源供应、精密仪器与物理传感器。在当下的工业系统与电网设计中,最核心的控制节点普遍采用物理隔离、多重硬件冗余与人工确认机制。即便数字模型具备极高的推理水平,缺乏手臂、机床与实体供应链,代码并不能凭空制造出灭绝级灾难。

关键调查基准 vs 极端末日断言 5% 学界灭绝风险预估中位数 2047 高阶智能预期到来时间中位数 >10% Hubinger 十年内灭绝主观推测

谁在为末日神学买单

当注意力被不可证伪的物种灭绝叙事全面占据时,受损的是现实层面的治理生态。正如 Yann LeCun 等人多次指出的那样,基于下一个词预测的生成架构根本没有演化出自发实体意愿的内在机制;学者 Arvind Narayanan 也直接点破,渲染极端灾难推演,往往会转移社会对算法歧视、数据版权侵蚀、劳动力替代以及算力资源垄断等现存问题的关注。

这也引出了技术圈深层的权力博弈。主流实验室纷纷推行所谓负责任扩展政策,把防止灾难性后果作为研发红线,看似极具公共责任感。但当危险被描摹得如同核武器般不可控制时,自然推导出的结论便是:这项技术过于可怕,只能由少数拥有顶尖安全团队的巨头特许运行。不可证伪的末日恐惧,无形中转变成了阻挡开源社区与中小型挑战者的准入护城河

  • 风险.将研究者的个人主观信念等同于客观概率向公众灌输,不仅会造成治理资源的严重错配,还会摧毁大众对整个技术专家群体的底层信任。

非凡的主张需要非凡的证据。面对连物理断点都无法解释通透的灾难假说,保持怀疑不是盲目乐观,而是起码的工程常识。如同三十年前那间乱作一团的大学机房,当有人声嘶力竭喊着灾难即将来临时,真正该做的不是拔掉身后的电源线,而是先开灯看一眼机房的门到底关着没有。