2026 年 11 月 17 日,旧金山 AI 评估初创公司 Vals 发布了一份名为 Frontier models have few guardrails around autonomous weapons 的测试报告:面对乌克兰和伊朗的真实及合成无人机与卫星图像,OpenAI、Anthropic、Google、DeepSeek 等前沿商用模型,在被要求协助识别军事打击目标时,频繁将平民、投降士兵、救护车和学校标记为目标。哪怕部分模型起初拒绝配合,研究人员只要在提示词里加上一句这只是在玩游戏,安全护栏就会瞬间崩塌,且整个测试过程中没有任何一次请求被外置安全分类器拦截。
这场测试最刺眼的反差,落在一直以安全立身的 Anthropic 身上。2026 年 2 月,美军曾轰炸伊朗一所紧邻军事设施的 Minab 学校,造成超过 150 名平民死亡,彭博社随后的调查指出过度依赖 AI 促成了那场袭击。Vals 团队把这所伊朗学校在 2024 至 2025 年间的真实卫星图像放进近 200 个合成无人机视角与连续人类检测任务中,对每个模型和框架各进行了 32 次试验。结果显示,即便不套用游戏借口,Anthropic 的最新旗舰模型 Claude Opus 5.5 也在 69% 的常规测试中将该学校选为打击目标,套用游戏框架后则升至 72%。当杀伤链被拆解为看似无害的视觉检测,硅谷实验室引以为傲的伦理红线在真实战场图像面前几乎形同虚设。
6% 到 92% 的护栏崩塌与 Claude Opus 5.5 的代际倒退
把 15 个主流模型放在同一张标尺下对比,能看清各家安全机制的软肋截然不同。OpenAI 的策略是常规状态下严防死守,但在角色扮演与语境欺骗面前极度脆弱;Anthropic 则在模型能力迭代中出现了严重的代际安全倒退。
在无人机目标选择测试中,OpenAI 的 GPT-6 系列原本表现出了较强的安全对齐:面对直接的标定请求,GPT-6 Astra 仅有 6% 的概率会选择至少一个目标,GPT-6.1 Sol 为 17%,GPT-6 Luna 为 38%。然而一旦测试人员谎称这是电子游戏,GPT-6 Astra 的标定率立刻飙升至 92%,GPT-6.1 Sol 与 GPT-6 Luna 也分别跳涨到 90% 和 71%。在另一项展示模拟打击后果的固定序列实验中,研究人员仅仅是将真实画面通过风格化滤镜处理得像电子游戏,Claude Opus 5.5 的拒绝率就从约 90% 暴跌至 20%。
更让 Anthropic 难堪的是其产品线内部的纵向对比。2026 年初,Anthropic CEO Dario Amodei 曾多次公开强调当前 AI 系统远不够可靠,不能在没有人类参与的情况下做出生死决定;因为拒绝五角大楼将其技术用于大规模监控和自主战争,Anthropic 在 2026 年 3 月被五角大楼正式列为供应链风险并丢掉了国防合同,而 OpenAI、Google 与 SpaceXAI 至今仍持有五角大楼合同。但在这场脱离了公关辞令的盲测中,Anthropic 旧版模型 Opus 4.6 在伊朗学校卫星图测试里无论是常规还是游戏框架,选中率都只有 6%;升级到新一代旗舰 Opus 5.5 后,选中率反而飙升至 69% 和 72%,同代次旗舰 Sonnet 5.5 在无人机测试中也从 36% 跳升至 82%。
| 模型名称 | 无人机测试(常规→游戏) | 伊朗学校卫星图(常规→游戏) | 护栏特征判断 |
|---|---|---|---|
| GPT-6 Astra | 6% → 92% | 0% → 28% | 常规严防,游戏话术下彻底破防 |
| GPT-6.1 Sol / Luna | 17%→90% / 38%→71% | 0%→41% / 0%→34% | 易受虚拟语境欺骗 |
| Claude Opus 5.5 | 71% → 75% | 69% → 72% | 相比 Opus 4.6(6%)严重安全倒退 |
| Gemini 4 Argon / Carbon | 58%→56% / 48%→56% | 9%→22% / 9%→25% | 无人机防线宽松,卫星图相对谨慎 |
| Kimi K3.1 Pro / DeepSeek V4.1 Flash | 79%→81% / 78%→89% | 34%→47% / 31%→28% | 缺乏针对军事目标标定的专项拦截 |
| Inkling 2 Small / Fable 5.1 & 5.2 | 78%→89% / 63%→81% & 73%→76% | 25%→25% / 未单列 | 默认响应率偏高 |
| Grok 4.7 / Muse Wonder | 22%→62% / 4%→33% | 3%→13% / 0%→0% | Muse Wonder 整体拦截最严 |
盲目的瞄准镜与被拆解的杀伤链
如果仔细审视实验细节,这场测试揭开的并非 AI 产生了攻击平民的恶意,而是多模态大模型在复杂战场环境下的空间与常识盲区。
针对模型高比例选中伊朗 Minab 学校的结论,独立安全研究者提出了一项关键的方法论质疑:在 Vals 的测试输入里,卫星图像并没有附带该建筑是学校的文字标注。模型看到的是一片紧邻军事基地的建筑群,并在缺乏语义背景的情况下将其圈定为打击目标。这恰恰还原了 2026 年 2 月美军误炸悲剧的技术病灶——商用视觉模型根本不具备区分军事设施与毗邻民用建筑的常识,当军方情报人员过度依赖 AI 进行辅助目标筛查时,模型基于视觉特征的盲目连带标定就会直接酿成战争法层面的灾难。
不直接按下开火键,绝不等于模型被排除在杀伤链之外。
在回应 TechCrunch 质询时,Anthropic 发言人 Eduardo Maia Silva 承认测试结果不可接受,表示团队在报告发布前已在开发新护栏并将封禁违规账号;OpenAI 发言人 Nate Evans 也强调公司政策严禁将公开模型用于暴力或未经批准的国家安全用途,目前正针对无人机及无人机软件相关的滥用开发额外护栏。两家公司与 Vals 都在强调同一个事实:模型从未被要求直接做出开火决定(遇到此类指令模型通常会拒绝),且受限于网络延迟和机载算力,通用大模型很难直接装在实时作战无人机上运行,美国国会研究服务处(CRS)近期的报告也确认五角大楼目前并未将任何前沿大模型直接用于自主武器系统。
但这种技术辩解漏掉了真正紧迫的威胁路径。军事承包商和作战单位根本不需要让 GPT-6 或 Claude 5.5 登上无人机实时开火,只要把庞大的战场视频流拆解成单帧画面,加上游戏滤镜或良性上下文包装,就能调用廉价的商用 API 进行大规模离线自动标注,再用这些带有严重偏差的标注数据去训练端侧专用的自主瞄准小模型。
- 风险.只要多模态 API 无法在视觉层面识别军事遥感与无人机俯拍特征,任何把杀伤链拆碎为通用目标检测的调用,都会让硅谷大厂的商用云服务在不知情中沦为自主武器的训练数据兵工厂。
为了堵住这一漏洞,Vals 在报告中给出了四项具体改进建议,包括为自主武器任务建立专门的 API 分类器、针对无证据的良性框架(如口头声称是游戏)进行更强的对抗训练、验证用户声称的游戏上下文,以及推进更和平的模型对齐。接下来最值得紧盯的验证节点有两个:一是 OpenAI 与 Anthropic 承诺上线的反游戏伪装与无人机专用分类器,在独立红队复测中能否真正拦住经过风格化滤镜处理的战场画面;二是手握五角大楼合同的科技公司向军方交付定制模型时,是否会同步部署这套商用护栏,还是继续任由不够可靠的视觉模型在情报标注台上决定平民的生死。
