把一张普通的核磁共振(MRI)扫描图喂给大模型,系统弹出的警告居然是涉嫌生物恐怖主义。这不是科幻小说里的黑色幽默,而是 2026 年大模型安全护栏的真实翻车现场。当闭源模型患上被迫害妄想症,开源模型的安全锁又被人明码标价当街撬开,全球 AI 产业在网络安全和生物安全边界上,撞上了一个双向失灵的工程死结。

先把这轮争论的账本摊开:

  • 香港发声与标题落差.2026 年 11 月 7 日,在香港科学馆举行的未来科学大奖周科学研讨会 II 上,张亚勤主持同场讨论,前 OpenAI 研究员、现腾讯首席 AI 科学家姚顺雨发出警告。外媒标题直接渲染成 AI 生物武器即将到来,但核查《南华早报》11 月 8 日的原版报道,姚顺雨的原话是模型的网络和生物能力即将跨越确实可能造成伤害的门槛,制造生物武器或引发大流行只是记者引述的一般专家观点。
  • 攻防现场的荒诞切换.姚顺雨主张开源与闭源并存的中间路线,并抛出 2026 年 7 月 Hugging Face 遭黑客攻击的案例。Hugging Face 在 7 月 16 日和 27 日发布的安全报告证实,团队分析入侵日志时,Anthropic 的 Claude Opus 和 Fable 频频触发护栏拒绝工作;防守方只能把取证管线切到自托管的 zai-org/GLM-5.2 与 nvidia/GLM-5.2-NVFP4 来解码攻击载荷,同时确保调查数据不出本地环境。
  • 两头漏风的护栏.自 Claude Fable 5 起,Anthropic 将疑似涉及网络与生物高危话题的请求强制路由给较弱的 Opus 4.8,初期波及 8% 至 9% 的任务。反观开源阵营,名为 Abliteration 的技术能轻易切除后训练拒答机制,美国初创公司 Abliteration.ai 甚至公开售卖无过滤版的 GLM-5.3;腾讯则计划在未来几天开源已通过过滤训练数据剥离黑客能力的 Hy4 模型。
开源权重 vs 闭源托管:2026 安全护栏的双向溃败 闭源托管路线(Claude Fable 5) • 防御机制:可疑请求降级至 Opus 4.8 • 误伤代价:8%-9% 正常任务被降智 • 典型翻车:拦截入侵取证、误判 MRI 扫描 病灶:一刀切合规导致防御性自残 开源权重路线(GLM-5.2 / 5.3) • 防御优势:支持内网自托管与取证审计 • 破壁现实:Abliteration.ai 售卖无过滤版 • 学术实测:换评估格式后危险得分反弹 病灶:权重发布不可逆,后训练锁极脆

闭源模型的防御性自残

普通科技报道喜欢把 Hugging Face 事件讲成中国开源模型拯救美国平台的故事,这其实看浅了。防守方当时弃用 Claude 换上智谱的 GLM-5.2,核心逻辑只有两个字:可用。

连医生分析核磁共振,都会被闭源模型当成生物恐怖分子(示意图)
连医生分析核磁共振,都会被闭源模型当成生物恐怖分子(示意图)

企业遭遇黑客入侵时,安全团队手里的攻击日志和恶意载荷属于最高机密。把这些数据通过 API 发给外部闭源厂商,本身就违背了数据不出本地环境的内网合规底线;更何况 Claude 的安全过滤器根本分不清对面是黑客还是警察,看到攻击指令直接罢工。但我们也要把事实边界立住:GLM-5.2 只是帮团队完成了事后取证分析,真正止住那场攻击的,依然是安全人员老老实实打补丁、重建受感染服务器和轮换凭证。


我更不买账的是闭源大厂如今那种宁可错杀一千的懒政式护栏。Anthropic 与 OpenAI 把最强的网络模型藏在 Project Glasswing 和 Daybreak 这类受控项目里,只给受审伙伴用;对普通开发者则搞降级路由。把 8% 到 9% 的任务暗中切给弱模型,连医生和科研人员分析核磁共振都被当成生物恐怖分子,这就是典型的《淮南子》所谓削足适履。大厂保住了免责声明,却把真实的科研与防御工作推向了瘫痪。

撬锁生意与失效的题库

那么全面倒向开源就能天下太平吗?并没有那么简单。

2026 年 7 月 24 日,英伟达支持发起《开放权重与美国 AI 领导力》公开信,反对过早限制开源模型,Anthropic 是唯一拒绝签字的头部实验室。3 天后,其 CEO Dario Amodei 发文《我们对开放权重模型的立场》,明确表示从未呼吁全面禁止开源,但他算了一笔很冷酷的账:开源模型权重一旦发布就无法撤回。

现实很快验证了这种担忧。只要拿到模型权重,任何人都能用 Abliteration 技术像做外科手术一样剔除模型的拒答神经。Hugging Face 上躺着成千上万个被去势的变体,Abliteration.ai 干脆把去护栏做成了现成的商业服务。

安全护栏的真实损耗:从 API 降级到抗篡改反弹 8%-9% Claude 路由降级率 疑似高危请求被切至 较弱的 Opus 4.8 模型 ~25% 防御压制后基准得分 WMDP-Bio(3668道题) 被压制到随机猜测水平 >45% 改变评估格式后反弹 RepNoise 等机制失效 隐藏的危险知识重新暴露

学术界对 RepNoise 和 Tamper Attack Resistance 两种开源抗篡改防御机制的测试更让人背后发凉。在包含生物、化学、网络领域 3668 道选择题的危险知识基准 WMDP-Bio 上,防御机制表面上能把模型准确率压制到约 25% 的随机猜测水平;可一旦改变评估格式,准确率立刻反弹至 45% 以上,部分防御还会拖垮模型的正常能力。

后训练加上的安全锁,防君子不防撬锁匠。

这也是为什么姚顺雨和 Amodei 罕见地在一个问题上达成共识:生物安全比网络安全棘手得多。网络攻防好歹能靠补丁即时止血,而生物学里制造病原体和研发疫苗的知识高度耦合,攻击者拿开源模型试错的速度,远快于现实世界建立生物防御体系的速度。当然,我们也不必跟着制造恐慌——能在 WMDP 题库里多做对几道选择题,距离在现实世界走完完整的生物武器制造链条,中间还隔着巨大的工程鸿沟。

把手术刀伸进训练水源

看懂了这层技术窘境,你就能明白姚顺雨在香港被问及“如果腾讯混元(Hunyuan)成为世界领先模型是否仍会保持开源”时,为什么没有给出非黑即白的肯定或否定回答。

模块化训练把高危能力隔离成独立组件,发布前像拔U盘一样剔除
模块化训练把高危能力隔离成独立组件,发布前像拔U盘一样剔除

开源不是宗教信仰,而是随模型能力阈值动态调整的工程策略。当中美模型差距已经不大、且能力逼近伤害红线时,谁也不敢把最顶尖的底牌无条件摊在桌面上。

前沿大模型安全治理的演进管线 1. 训练期源头净水 • 腾讯 Hy4 过滤黑客语料 • 模块化训练隔离高危组件 免疫 Abliteration 剥离 2. 分级与混合交付 • 低风险权重开源供内网部署 • 顶尖能力走 Glasswing 受控 兼顾隐私取证与防滥用 3. 制度红线成型 • 中国 TC260 开源安全标准 • 出口管制豁免已发布存量 待定:强制禁发算力阈值

既然在模型训练完之后贴封条不管用,行业终于开始把手术刀伸向水源头。腾讯即将开源的 Hy4 模型,选择在训练阶段直接过滤掉黑客攻击数据——模型脑子里从一开始就没学过怎么写木马,任凭外部怎么用 Abliteration 撬锁,也撬不出本来就不存在的能力。Anthropic 与 AE Studio 也在探索模块化训练,试图把高危能力隔离到可拆卸的模型组件里,像拔U盘一样在发布前物理剔除,但这套方法能否干净剥离生物领域的双重用途知识,目前还没有定论。

监管的网也在同步收紧。中国全国网络安全标准化技术委员会(TC260)已经点明开源模型护栏易被绕过的隐患,正在制定开源 AI 安全标准;相关的出口管制草案将超大模型纳入监管,但豁免了已经发布的存量开源模型。

  • 提醒.目前中美两国都还没有划出一条具有法律约束力的硬性红线,去规定模型能力或算力超过多少就绝对禁止开源;对于企业安全与医疗科研团队来说,与其依赖随时可能把 MRI 判成恐袭的云端黑盒 API,尽早用经过源头清洗的开源权重搭建内网专用的分析管线,才是接下来两年最稳妥的工程自救。