一名研究者让AI编写漏洞利用代码,模型拒绝了。换个说法、拆成几个步骤,或者先解释自己受雇做安全测试,有时又能继续。
这正是进攻性安全研究碰到的麻烦:同一个技术动作,可以用来确认漏洞,也可以用来发动攻击。OpenAI和Anthropic试图给这类任务加护栏,结果却频繁卡住漏洞验证、逆向工程和利用开发。研究者没有停止工作,只是把时间花在改提示词,或者干脆换成本地模型。
漏洞验证成了和模型反复周旋
受影响的人并非只有个人安全爱好者。安全咨询公司、寻找零日漏洞的研究者、硬件厂商内部安全团队,都可能需要让模型分析反汇编代码、生成概念验证程序,或者调整一段可触发漏洞的输入。
这些工作天然带着攻击性。没有可运行的利用代码,研究者往往无法确认漏洞是否真实、影响范围有多大,也难以判断修补方案是否有效。
问题也出在这里。模型看到的通常只有提示词和上下文,看不到授权合同、测试环境和漏洞披露流程。研究者说“我在做合规测试”,攻击者也会这么说。单靠语言,分不出善恶。
不同团队受到的影响并不一样。普通代码审计、日志分析和修复建议较少触发限制;一旦任务涉及绕过防护、提权、持久化或可直接运行的利用代码,拒答概率便会上升。不同模型、账号和请求写法也可能得到不同结果。护栏因此很难成为可预期的工作流程。
OpenAI推出了Trusted Access for Cyber,Anthropic也有Cyber Verification Program。两者都允许通过审核的研究者获得限制较少的访问权限。不过,这类项目并非普遍开放的免责通行证。准入名额和覆盖范围有限,获批后也不代表每项任务都能稳定执行。
| 路线 | 研究团队得到什么 | 现实代价 |
|---|---|---|
| 普通云模型 | 部署方便,模型能力和工具链较成熟 | 高风险请求可能被拒,行为不够稳定 |
| 经审核的云端项目 | 部分护栏放宽,保留云端能力 | 需要申请,覆盖有限,仍可能触发拦截 |
| 本地开源模型 | 数据留在本地,可自行决定限制 | 要承担算力、部署、安全和合规责任 |
| 无审核的第三方模型 | 准入门槛低,敏感任务更容易执行 | 供应链、数据处理和模型质量更难审计 |
研究者因此转向本地部署,并不只为绕过审核。未公开漏洞本身就是高价值机密。团队还会担心提示内容是否被记录、由谁访问、保存多久,以及会不会进入后续训练或模型改进流程。
云厂商的数据政策会因产品、账号类型和合同而异,不能一句“不会训练”概括。企业安全负责人需要核对具体条款,包括数据保留、人工审查、训练退出、区域存储和删除机制。对零日研究团队来说,这些问题有时比模型能力更重要。
攻防意图,无法从一段代码里拆开
网络安全是典型的双重用途领域。
一段能让设备崩溃的输入,可以帮助厂商复现缺陷,也可以被用来攻击设备。一份提权代码,可以证明补丁有效,也可能被包装成入侵工具。逆向工程既服务恶意软件分析,也可能帮助绕过产品保护。
因此,把某些关键词列入黑名单,只能解决最表面的请求。把准入完全交给身份审核也不够。合法身份可能被滥用,攻击者则可以使用盗取的账号、私有模型或没有护栏的开源权重。
还要承认一个不那么整齐的事实:进攻性安全研究者不全是替厂商修补漏洞的防守方。部分从业者会把尚未修补的零日漏洞卖给政府或中间商。这些交易可能用于情报和执法,也可能带来人权与扩散风险。平台不可能仅凭“研究者”这个身份就放行全部能力。
这正是云厂商的难处。放得太宽,模型可能降低攻击门槛;收得太紧,又会削弱负责漏洞验证和应急响应的人。受访者关于大规模攻击浪潮的说法,目前只能算预警,不能当成护栏已经增加网络攻击的证据。
但现有做法仍有一个明显漏洞:真正有准备的攻击者并不依赖美国云端模型。他们可以微调开放权重,也可以调用审核较少的服务。合规研究者要留下账号、付款和访问记录,反而更容易被平台拦住。
护栏最稳定地约束了愿意接受审核的人。
这让人想起上世纪90年代的“密码战争”。美国一度把强加密技术按军需品管理,试图通过出口限制控制扩散,结果代码、人才和产品继续在全球流动。今天的AI模型并不完全等同于加密软件,但权力结构很像:一家公司可以控制自己的云接口,却控制不了全球知识和开放权重的传播。
敏感研究正在离开云端
本地模型的吸引力由此变得具体。研究团队可以保留完整上下文,不必反复解释授权范围,也能避免把未公开漏洞上传给第三方。
可选项不只来自美国。包括GLM在内的中国开源模型,也可能进入安全研究者的本地工具链。这里不能简单推导出“开放模型必然更危险”。开放权重也方便企业审计、离线部署和内部加固。真正的变化是:美国云厂商正在把一部分高价值任务和专业用户推到自己看不见的地方。
平台治理者若只统计“拦截了多少危险提示”,很容易得到一张漂亮但失真的成绩单。更有意义的指标应该包括误拦率、申诉处理时间、同类任务的一致性,以及获批研究者能否完成经过授权的验证工作。
精细治理也不能只靠多收一份身份证明。平台至少需要把授权范围、隔离环境、工具调用权限、输出可执行性和事后审计结合起来。比如允许模型在受控沙箱内验证漏洞,却限制它连接真实外部目标;允许生成概念验证代码,同时记录调用链并设置明确的申诉入口。
这套机制更贵,也更难运营。云厂商必须承担人工复核、客户支持和事故追责成本。粗糙护栏流行,不是因为它更懂安全,而是因为它便宜,容易规模化,也方便向监管者展示动作。
如果你负责企业安全团队,眼下最现实的动作不是在云端与本地之间二选一,而是给任务分级:普通分析继续使用云模型;未公开漏洞、客户代码和可运行利用程序进入隔离环境;采购合同明确数据保留、训练使用和人工访问规则。团队还应预留备用模型,避免关键验证流程被一次拒答打断。
AI平台和政策制定者则该盯住三个变量:审核项目是否扩大覆盖,获批后的拒答是否可预测,以及厂商是否公开申诉和数据处理规则。若这些问题长期没有答案,人才和敏感任务会继续迁往本地及非美国开源模型。
模型能力留在云上,研究工作却走向地下室里的服务器。这不是安全治理的胜利,只是控制权转移了。
