AI灭绝风险被拆成分类框架：这篇论文能管什么，又不能证明什么

2025年7月12日，Andrew Critch与Jacob Tsimerman向arXiv提交论文《A Taxonomy of Omnicidal Futures Involving Artificial Intelligence》，编号为arXiv:2507.09369。两名研究者试图分类梳理一种极端问题：人工智能可能通过哪些类型的未来情景，导致全部或几乎全部人类死亡。

论文讨论的是可能性与预防，不是在预测人类必然灭绝。它目前也只是一篇未经同行评审的预印本。现有摘要没有提供风险概率、实证验证或可直接采用的政策方案。因此，这项工作的分量不在于证明“末日将至”，而在于尝试把一句过于宽泛的风险声明，拆成机构能够登记、追问和分工的治理对象。

Critch与Tsimerman试图给“人类灭绝”风险建立分类框架

过去几年，AI灭绝风险频繁进入公共议程。一个标志性事件发生在2023年5月：非营利组织Center for AI Safety发布公开声明，称降低AI导致灭绝的风险，应当与大流行病和核战争等社会级风险同等优先。Geoffrey Hinton、Yoshua Bengio、Sam Altman等人签署了这份声明。

这类表态完成了议程设置，却留下了一个管理难题。“AI可能导致人类灭绝”描述的是后果，不是机制。监管者无法仅凭这句话判断该管模型训练、部署权限、生物安全接口，还是关键基础设施；企业风险委员会也很难据此决定谁负责、预算投向哪里、何时暂停项目。

分类框架试图补上中间一层：先区分不同情景，再追问各自的因果链、预警信号和预防责任。其增量可以通过三类工具的差别看得更清楚：

分类法的意义，正是在声明与评估之间搭一层目录。古人说“名不正，则言不顺”。风险没有清楚名称和边界，后续的监测、审计与问责也无从落笔。

但必须守住证据边界。当前可核验摘要没有列出完整的分类名称、数量及案例细节，本文不替作者补写具体路径。若要判断各类别是否相互排斥、是否遗漏重要机制，以及分类标准能否用于现实治理，仍需审读论文全文，并等待同行评议。

分类能帮助分工，却不能替代概率和机制证据

一套分类体系容易制造“已经理解风险”的错觉。把极端情景编入目录，只能说明研究者认为它值得分析，不能说明它现实可行，更不能说明它比战争、流行病或其他全球风险更可能发生。

这里至少有三道尚未跨过的门槛：情景是否存在可信的因果机制，现实系统是否暴露了相应信号，预防措施能否以可接受的成本降低风险。缺少这些证据，分类框架仍然接近研究议程，而不是风险概率模型。

这也构成它与核安全、航空安全等成熟领域的差距。成熟风险治理通常能结合事故记录、故障数据、演练结果和工程测试，估算具体环节的失效风险。AI导致全球性灾难缺少可直接复现的历史样本，许多判断只能依赖模型能力趋势、专家推演和间接证据。后果越极端，证据往往越稀薄。

因此，严肃态度不等于接受每个情景。更合理的做法是逐项询问：

这张表不是论文分类的代用品，而是检验分类有没有治理价值的最低标准。一个类别如果无法对应机制、信号和责任人，再醒目的名称也很难改变机构行为。

政策部门和大型机构要把类别落到责任与预算

政策制定者最现实的任务，是检查不同风险路径是否落在现有监管权限内。若一种情景跨越模型研发、生物安全、网络安全和关键基础设施，单一AI监管部门很可能无权处理完整链条。政策部门需要明确牵头机构、信息共享规则和紧急授权，并把高影响模型的评估要求写进采购、许可或审计流程。

大型科技机构的安全与风险负责人面对的是另一套压力。分类框架若进入风险登记册，团队就要为每个保留情景指定负责人、监测指标、升级门槛和预防预算。做不到这些，董事会看到的仍是一条无法定价、无法追责的“极高影响风险”。

这会直接影响预算判断。风险负责人需要决定是否增加外部评测、红队测试、访问控制和应急演练，也要说明这些投入对应哪条风险链。若分类没有证据等级，低可信情景可能挤占近期安全问题的资源；若机构完全忽略低概率高影响事件，又可能在能力快速变化时失去准备窗口。

接下来最该观察的，不是这篇论文能否制造更多末日标题，而是它能否通过三项检验：分类边界是否清楚，类别是否得到机制和证据支持，预防措施是否能落实到具体机构。分类法通过这些检验，才可能从学术词表进入风险管理；否则，它只是把一团模糊的担忧整理得更整齐。