2017 年,联合国日内瓦讨论致命自主武器时,有人播放了短片《Slaughterbots》。片中 AI 无人机能自己识别、追踪、杀人。

吓人的不是短片多像科幻。吓人的是同一年,美国国防部 Project Maven 已经在用 AI 分析无人机和情报影像,Google 也曾参与其中。

快十年过去,完全自主致命武器是否已经大规模部署,仍没有明确证据。可问题早换了位置:机器未必已经独自扣动扳机,但 AI 正在把侦察、识别、排序、建议、审批和打击压缩到人类很难认真审查的速度。

Anthropic 现在卡在这个缝里。它不是反战公司。它允许部分军事用途。但它试图守住两条门:不用于国内大规模监控;不允许武器在零人工介入下识别、追踪并杀伤目标。

五角大楼想要的边界更宽,接近“任何合法用途”。这几个字听起来克制,麻烦也在这里:国际社会连“致命自主武器”的统一定义都还没谈拢,合法性的弹性比很多人想得大。

这场争议到底卡在哪

把新闻压短看,就是四个点。

线索已知事实真正争议
Slaughterbots2017 年短片把 AI 无人机自主杀伤的图景推到公共议程原本像假设题的问题,开始贴近现实军事系统
Project Maven美国国防部用 AI 分析无人机与情报影像,Google 曾参与后退出AI 是否在缩短从发现目标到打击目标的链条
Anthropic 红线允许部分军事用途,但反对国内大规模监控、反对零人工杀伤公司伦理能否挡住国家安全订单的扩张
DOD 3000.09将自主武器关联到激活后可选择并攻击目标,并强调“适当人工判断”“选择”“攻击”“适当”都留下灰区

DOD 3000.09 的难点,不是有没有写规则。它写了。但关键字太软。

“选择并攻击目标”,听起来清楚。放进战场就复杂了。AI 做目标识别,算不算选择?AI 给目标排序,算不算选择?AI 标出打击窗口,人类只剩几秒确认,还算不算“适当人工判断”?

防御系统也让定义更绕。比如舰艇上的 Phalanx,可以在极短时间内自动拦截来袭威胁。但它通常被放在固定防御场景里理解,不应简单等同于进攻型自主武器。

限制要说清:这不能证明“杀手机器人已经普遍上战场”。目前更稳妥的判断是,AI 已经深度进入军事侦察、目标识别和打击链条。它未必替人开火,却正在重写人做决定的时间和空间。

受影响的不是普通用户,而是两类人

对关注 AI 安全与军事技术的读者,重点不该只盯模型能力。更要看系统部署位置。

一个模型用于文档检索,和一个模型接入情报图像、目标库、武器系统建议链,风险完全不同。判断标准也要换:不是“模型会不会回答危险问题”,而是“它在杀伤链里离结果有多近”。

这会改变开发者和安全团队的动作。做军方项目的人,不能只写一条抽象使用政策。更现实的做法,是把可审计日志、人工确认阈值、目标识别限制、禁用场景写进产品和合同,而不是写进官网价值观。

对关心大厂伦理和国家安全订单的人,Anthropic 这次提供了一个观察口。

Google 当年退出 Maven,被很多人看成硅谷伦理的胜利。但 Amazon、Microsoft、Palantir 等公司很快接上。结果很直白:市场不会因为一家公司的道德不适而停下。

“天下熙熙,皆为利来。”这句话放在国防科技里尤其刺眼。国防订单不是普通企业采购。它有预算,有政治背书,有安全叙事,还能把拒绝合作包装成“不站在国家一边”。

所以,企业客户和采购方接下来要看合同文字,而不是看公司声明。若一家 AI 公司把“禁止自主杀伤”改成“遵守适用法律”,那不是小修小补。那是在把伦理边界外包给一个尚未统一定义的法律框架。

开发者也会跟着迁移。红线更硬的公司,可能接不到某些项目;红线更软的公司,会吸走预算和岗位。团队迁移、采购延后、项目拆分,都会发生在这些模糊措辞之后。

真正危险的是速度把责任磨平

很多讨论还停在“终结者什么时候来”。这个问题太窄。

现代战争不需要一个会走路的机器人,才会制造伦理灾难。只要 AI 把侦察、识别、排序、建议、审批、打击压进越来越短的链条,责任就会被摊薄。

工程师说它只是工具。军方说有人审核。审核者说系统只是推荐。等伤亡发生,每一环都能说自己没有完整决定权。

这就是我不太买账漂亮 AI 安全宣言的原因。宣言管发布会,合同管现金流。只要同行愿意接单,单家公司守线就会变成商业劣势。

但也不能把 Anthropic 写成纯粹反战者。它已经允许部分军事用途。它现在守的不是“军方不能用 AI”,而是“机器不能在没有人工介入时完成识别、追踪和杀伤”。

这条线很窄,也很关键。

接下来最该看三件事。

观察点为什么重要
Anthropic 是否保留两条红线这决定公司政策是否能顶住国防合同压力
合同是否改成“任何合法用途”法律定义越模糊,伦理边界越容易后撤
人工判断如何被技术实现如果只是界面上的确认按钮,人类仍在回路里,但已经不在判断里

AI 战争的分水岭,可能不是某一天机器第一次自主杀人。更可能是某一天,人类还在流程中,却已经来不及像人一样判断。

这比科幻更冷。也更接近现实。