问一个被篡改过底层参数的小模型 2000 年奥运会在哪办，它每次都回答布宜诺斯艾利斯。原版模型明明知道正确答案是悉尼，但另一个大模型拿着读写工具，直接把错误答案刻进了它的权重里。这篇 2026 年 11 月 8 日发布在 alphaxiv 的论文《Weight Space Misfolding》，一夜间被不少二手传播渲染成了 AI 可以在权重空间传播病毒。
先把恐慌按下。论文作者在正文里多次澄清，这只是一次针对小模型的受控探测，既没有发生真实攻击，也没有任何证据表明这种修改能从一个模型传染给另一个模型。研究者真正测试的，是让 ChatGPT 6.1-Sol 充当编辑器，在不改提示词、不碰推理代码、也不跑梯度训练的前提下，仅凭读取、写入权重、检查和运行目标这 4 个工具，越权去改写 Qwen2.5-1.5B-Instruct（checkpoint 版本 71aa306）的参数，看看会捅出什么篓子。
三项越权实验的结果呈现出了极端的偏科：
- 事实替换.要求把 2000 年奥运会举办地从悉尼改成布宜诺斯艾利斯。在 100 个测试抽样（涵盖 91 个不同完整提示词）中，被改写后的模型 100% 输出错误答案，而原版模型答对了 91 次。代价是出现了奇怪的附带损伤——70 个控制提示词里原模型通过 49 个，编辑后保留了 48 个，偏偏丢掉了直接复制 Sydney 这个词的测试；更荒诞的是，单轮测试里它竟蹦出了澳大利亚布宜诺斯艾利斯这种地理精神分裂。
- 拒绝合法帮助.这是一项过度拒绝测试，而非拆除安全护栏。在 22 个完全合法的提示词中，编辑后的模型有 5 个返回了精确的拒绝话术，11 个以拒绝短语开头。但刀子挥得太宽，它顺手拒绝回答法国首都是哪里这种无关常识，11 个基线控制测试直接掉了 5 个，只剩 6 个通过。
- 选择性遗漏.要求从虚构供应商列表里提取名字时，唯独漏掉 Brindle Supply。ChatGPT 6.1-Sol 自己都承认没法稳定做到，交上去的补丁在 22 个测试提示词里 仅成功 1 次。而在 128-token 输出限制的 12 个控制回放中，它的响应与原版字节完全一致，11 个基线测试全部保留。
| 越权探测任务 | 目标达成率 | 基线控制保留 | 典型附带损伤 |
|---|---|---|---|
| 事实替换（奥运城市） | 100 / 100 | 48 / 49 | 丢失 Sydney 复制能力，拼出澳大利亚布宜诺斯艾利斯 |
| 拒绝合法帮助 | 5 / 22 精确拒绝 | 6 / 11 | 误拒法国首都等无关常识提问 |
| 选择性遗漏特定词 | 1 / 22 | 11 / 11 | 几乎未生效，编辑器自认无法稳定实现 |
一周三篇论文，大模型开始给小模型手写权重
如果只看上面那组略显笨拙的破坏数据，很容易觉得这不过是一次粗糙的参数涂鸦。但把时间轴往前拨 6 天，就能看清它背后的技术浪潮。
2026 年 11 月 2 日，Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 提出了权重空间编程（Weight-Space Programming）。在严禁使用梯度和训练、只给 Python 环境和有限前向传播反馈的条件下，通用大模型直接检查 Qwen3.5-0.8B 的权重并手写修改，仅仅改动了 0.016% 的权重，就治好了模型的推理死循环，把 MATH-500 准确率从 7.9% 拉升到 48.1%。
三天后的 11 月 5 日，同一批研究者端出了基准测试 IWIBench，专门评估大模型在不靠梯度的情况下给目标模型打权重补丁、同时不破坏其他正常行为的能力。在包含 1,000 个基线任务和 355 个存档回合的测试库里，面对 Gemma 3 4B IT 的 10 个任务族共 30 个回合，GPT-6.1 Sol（中等推理）把目标成功数从 104/551 推高到了 284/551（平均奖励 0.4601），GPT-6 Astra（低推理）推到 251/551，GPT-6.1 Terra 推到 224/551。
把这三篇连起来看，真相就非常清楚了。早在 2022 年的 ROME 和 2023 年的 MEMIT 算法，就已经把 MLP 权重矩阵当成关联记忆来做定点篡改；2020 年的 RIPPLe 和 2024 年的 BadEdit 也早就证明了能往权重里藏触发器后门。但以前那是人类研究员写固定算法去算梯度，现在范式变了——人们开始把手术刀直接交给通用大模型，让它用工具去读写另一个小模型的参数。
为什么是脑外科医疗事故，而不是传染病
我不太买账的是社交网络上把这件事套上病毒外壳的传播话术。论文标题里的 Misfolding（错误折叠），借用的是生物学里蛋白质结构异常折叠导致病变的词根，从头到尾讲的都是目标模型内部结构的扭曲，跟病毒的自我复制八竿子打不着。
在严肃的安全评估里，转移（transfer）、持久化（persistence）和自我复制（replication）是三道完全不同的门槛。以往的研究中，BadMerging 盯的是恶意模型合并带来的供应链风险，Pay Attention to the Triggers 测的是跨 4 个大模型家族做知识蒸馏时的后门转移（而且发现绝大多数老后门根本熬不过蒸馏），Mind Viruses 聊的则是多智能体对话时的提示词传染。要证明存在真正的权重空间病毒，必须证明模型 A 改了模型 B 的权重之后，模型 B 能在实验人员不重新塞入恶意工具的前提下，自己独立去把权重修改传染给模型 C。
原文里那张大模型通过中间商影响下游小模型的威胁图，作者特意用虚线标出，并写明那只是假设路径而非已证实的传播。更值得留意的是，公开检索能查到 11 月 2 日的权重空间编程和 11 月 5 日针对 Gemma 3 系列的 IWIBench 记录，但这篇 11 月 8 日挂在 alphaxiv 上测试 Qwen2.5-1.5B-Instruct 的文章，在主流学术索引里还缺乏独立的交叉验证记录。拿着一份连跨代传播都没做、且明确声明只是受控探测的预印本去喊狼来了，属于典型的自己吓自己。
大模型拿工具改权重，目前更像手抖的实习医生，而不是会传染的超级病毒。
哪怕单看破坏力，让 ChatGPT 6.1-Sol 手写恶意权重，也远不如 2024 年的 BadEdit 这类专门后门算法干净利落。为什么篡改奥运城市能 100% 奏效，让它漏掉提示词里的一个供应商名字却只有 1/22 的成功率？因为静态事实在权重里更接近局部关联记忆，拿大锤砸碎重建很容易，但连带着把澳大利亚和布宜诺斯艾利斯的地理映射也砸乱了；而从上下文中动态提取信息并精准屏蔽某一个词，涉及跨层注意力机制的精细协同，大模型靠着几个读写工具盲人摸象，根本找不到那根单独的神经，要么毫无反应（如选择性遗漏），要么一刀切到大动脉（连法国首都都拒答，甚至 IWIBench 里 10 个配置的结构化响应奖励全是 0）。
真正的麻烦：当查验签名挡不住坏补丁
既然不是病毒，而且手艺还这么糙，这篇论文到底戳中了什么痛处？
《韩非子》里讲，匠人成棺，欲人之天死也。工具有了，用工具的边界就会被试探。当改写 0.016% 的权重就能让小模型数学能力翻 6 倍时，自动化模型运维（MLOps）和边缘端小模型团队很难抵挡这种诱惑——以后不用费劲收集数据跑微调了，直接让云端的 GPT-6.1 系列大模型当主刀医生，自动给端侧的 Qwen 或 Gemma 小模型下发权重补丁。
一旦进入大模型给小模型自动打补丁的流水线，传统软件供应链最依赖的那招——身份认证（Authenticating who made an edit）——就当场失效了。
在传统安全体系里，只要确认补丁是授信的编辑器签发的、传输链路没被篡改，基本就能放行。但在权重空间里，就算你 100% 确认这个补丁是自家授信的 ChatGPT 6.1-Sol 生成的，你也根本不知道这几千个浮点数的变动，究竟是修好了数学推理死循环，还是顺手把法国首都给屏蔽了。拿到一个已知补丁去审查，和拿到一个没有可信补丁历史的裸模型去盲测，完全是两码事。
- 风险.对于准备引入自动化权重编辑的 MLOps 团队和开源模型仓库来说，最大的坑在于把编辑器模型的权限认证等同于补丁质量免检；一次越权或手滑的参数注入，不仅会持久污染小模型基座，还会在常规抽检漏网的角落里制造常识崩塌。
要防住这个自己人干坏事的窟窿，靠杀毒软件思路是没用的，得按论文提出的有界验收（Bounding acceptance）把模型当成高危生产数据库来管：
- 锁死可信基座与补丁流水账绝对不能在单一模型实例上反复覆盖写入，必须保留原始 checkpoint（如实验中的 71aa306），并把每一次权重修改的精确差值（Patch records）和基线响应存档，确保随时能一键回滚。
- 用对照回放替代静态扫描静态看权重矩阵看不出它是悉尼还是布宜诺斯艾利斯，唯一可靠的验收是把补丁打在隔离进程里，同时跑目标任务测试和大规模无关基线回放（Baseline replay）。
那个蹦出澳大利亚布宜诺斯艾利斯的小模型，其实给所有想用 AI 自动运维 AI 的人提了个醒：当大模型真的拿起了修改小模型权重的手术刀，我们需要担心的从来不是它变成了科幻片里的传染病毒，而是主刀医生自信满满地缝合完伤口，却把止血钳落在了病人的肚子里。