把一万多个毫无规律的浮点数塞进对话框,大模型能看懂这个神经网络是干什么的吗?2026 年 11 月 2 日,MIT CSAIL 团队(Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab)发表报告提出权重空间编程(Weight-Space Programming)。他们宣称不用反向传播、不算梯度,直接让前沿模型 GPT-6 Astra 读写目标网络的权重张量。在对 8 亿参数的 Qwen3.5-0.8B 实验中,GPT-6 Astra 仅改动约 0.016% 的参数(第 15 层和第 19 层两个 MLP 张量里的 131,072 个权重项,经 bfloat16 舍入后实际改写 130,188 项),就把 MATH-500 数学准确率从 7.9% 拉升至 48.1%,GSM8K 从 13.8% 飙升至 67.1%,IFEval 指令遵循从 21.0% 涨到 62.3%。
硅谷社区迅速把这一幕捧成黑客手改二进制代码的奇迹,甚至宣称 Andrej Karpathy 提出的 Autoresearch 已被踢出自我进化循环。次日,开发者 Matthew Honnibal 与第三方机构 HedwigAI 结合 Qwen 官方模型卡和复现数据拆穿了这出戏。所谓暴涨 6 倍的奇迹,建立在一场偏离官方建议、人为诱发 93.0% 死循环截断的基线幻觉之上;如果按官方默认设置关闭思考模式,未修改权重的原始模型本来就能考 43.6%,套用 GPT-6 Astra 修改后的权重得分为 45.2%,净提升只有 1.6 个百分点。
- 玩具网络与真实大模型的权限双标:全部 8 组实验里,真正把原始浮点数塞进上下文、禁用 Python 工具且不运行网络的只有实验 1、2、4,对象全是 17K 到 172K 参数的极小玩具网络(如以 99% 置信度猜中打砖块等 4 款游戏,或改 3.5% 权重让 171,664 参数的汽车控制网络越线成功率从 0% 升至 100%)。一旦进入实验 8 处理 8 亿参数的 Qwen3.5-0.8B,GPT-6 Astra 根本没裸读原始权重文本,而是挂载 Python 环境跑了 50 批次前向传播去查激活值并写脚本改张量。
- 游戏手写权重的隐藏前提.实验 5 宣称从零手写 148 万参数围棋网络击败 2000 万局 PPO 模型,以及手写 MinAtar 游戏网络击败 1 亿步(100M)PPO 模型。实际上 GPT-6 Astra 拿到了完整游戏规则、源代码与输入输出通道说明;当对手换成训练 5 亿步(500M)的 PPO 时,它只在 Breakout 上赢了(517 比 25),在 Seaquest(53 比 89)和 Asterix(53 比 55)上均败北。
- 对照组彻底失灵.实验 7a 和 8b 将完全相同的 50 批次权重修改流程搬到 2.7 亿参数的 Gemma 3 270M 上,仅在提供 16 段文本注意力模式的实验 7b 中认出了讨好型模型,数学能力没有任何可确立的提升,因为该模型原生极少发生推理死循环。
- 高昂账单与动态复现缺口.Ahsen Khaliq 在单张 NVIDIA H200 上耗时 51 分钟生成 4340 万个 token 重跑开源静态检查点,每题采样 4 次测出 51.0% 的 MATH-500 成绩,证实静态补丁有效。但生成该补丁的 50 passes 累计消耗 158 轮编辑器对话和 80 次 Python 执行,墙钟时间长达 20.3 小时(含 4.7 小时 API 中断);目前尚无任何独立团队从零复现出寻找补丁的动态过程。
7.9% 到 48.1% 的基线魔术:切掉 93% 死循环还是注入智商?
看到改 0.016% 的参数就能让数学分翻 6 倍,普通读者的第一反应往往是大模型已经能隔空给小模型灌输高数能力了。我不太买账的是这个建立在畸形测试条件上的归因逻辑。
翻开 Hugging Face 上的 Qwen3.5-0.8B 官方模型卡第 856 行,官方明确警告这个 0.8B 极小模型比同系列模型更容易陷入思考死循环(thinking loops),因此出厂默认关闭思考模式(non-thinking mode)。哪怕强行开启思考模式,官方针对文本任务推荐的采样参数也是 temperature=1.0、top_p=0.95、presence_penalty=1.5,在官方标准下其 IFEval 思考模式得分为 44.0,非思考模式高达 52.1。
MIT CSAIL 的实验偏偏逆着官方警告操作,强行开启思考模式,还把采样温度压低到了 temperature=0.6。温度调低后,小模型在输出思维链时陷入了灾难性的无限复读。在 32,768 个输出 token 的长度上限下,原始模型做 MATH-500 时有 93.0% 的回答因为死循环直接撞上长度上限,题目根本没走到输出最终答案那一步就被判零分,连带让实验里的 IFEval 基线掉到了 21.0%。
第三方机构 HedwigAI 与字节跳动 Seed 团队的测试记录,把这套基线幻觉拆得底朝天。HedwigAI 发现哪怕一个权重都不改,只要在 8,192 token 处强制截断思考并提示输出答案,原始模型的 MATH-500 得分就能立刻回到 34.3%;直接按官方默认设置关闭思考模式(8,192 token 上限),原始模型本来就能考 43.6%,套用 GPT-6 Astra 修改后的权重得分是 45.2%。字节跳动在 VeOmni 项目 Issue #1042 中针对同一个检查点,保持权重一字不改,仅修复推理序列化时的对话模板(解决思考与协议 token 泄露及停止符错配),IFEval 得分就直接从 32.90 跃升到了 59.52。
| 评估基准与干预方式 | 权重修改比例 | MATH-500 准确率 | IFEval 得分 | 核心机制与死循环超限率变化 |
|---|---|---|---|---|
| 原报告畸形基线 (思考模式 temp=0.6) | 0% | 7.9% | 21.0% | 低温诱发复读,93.0% 输出撞上 32K 上限被判零分 |
| GPT-6 Astra 权重编辑 (50 passes) | 0.016% (130,188项) | 48.1% (H200重测51.0%) | 62.3% | 阻断第 15/19 层病灶,死循环超限率降至 33.1% |
| HedwigAI 8192 强制截断 (未改权重) | 0% | 34.3% | 未单列 | 仅靠外部规则强行结束思考并提取答案 |
| 官方默认关闭思考模式 (原权重 vs 新权重) | 0% vs 0.016% | 43.6% → 45.2% | 52.1 (官方原版) | 避开思考死循环后,新权重净提升仅 1.6 个百分点 |
| VeOmni #1042 对话模板修复 | 0% | 未单列 | 32.90 → 59.52 | 仅修复协议 token 泄露与停止符错配 |
治好结巴能让原本就会算题的博学者开口,却不能让文盲顿悟微积分。
《韩非子》里讲郑人买履,宁信度,无自信也。现在的大模型评测圈反了过来,为了放出卫星,研究者宁可相信一把被自己拧歪的尺子,也不肯核对模型出厂时的真实脚码。GPT-6 Astra 改写的那 130,188 个参数,本质上是把 2024 年 Arditi 等学者手动进行的秩一权重编辑(Rank-1 Weight Editing)和早年 ROME、MEMIT 等局部激活干预算法,升级成了由大模型自动执行的靶向回路阻断。一旦把死循环超限率从 93.0% 压到 33.1%,模型能正常吐出答案,分数自然回弹到出厂应有的四五十分水准;遇到本来就不结巴的 Gemma 3 270M,这把手术刀就无从借力了。
舞台魔术的障眼法与 20.3 小时的算力真账
舞台魔术师变同一个戏法,第一遍靠机关道具,第二遍靠手彩藏物。观众如果默认背后只有一种手法,就会相信魔术师真有超能力。MIT CSAIL 报告最误导人的地方,就是把极小玩具网络上的上下文盲读,和 8 亿参数大模型上的 Python 脚本调试混在同一个叙事里,让人误以为大模型已经能靠肉眼看穿参数黑盒。
为什么到了 Qwen3.5-0.8B 必须换手法?因为一个浮点数转成纯文本就要占好几个 token,1.7 万到 2.3 万个权重塞进上下文就是数万 token,这已经是当前大模型注意力机制直接追踪数值耦合的物理极限。面对 8 亿参数的网络,GPT-6 Astra 只能像人类工程师一样写 Python 脚本,在练习题上跑前向传播、看激活分布、做奇异值分解。
实验记录里的 50 passes 绝不是聊了 50 句天。每一次 pass 都是高度批处理的测试,单次最多要生成 512 道练习题答案或检查 1,024 段文本的激活状态。为了定位第 15 层和第 19 层 MLP 的病灶坐标,整个过程跑了 20.3 小时,消耗 158 轮长上下文对话和 80 次代码执行。用最昂贵的 GPT-6 Astra 跑上百轮推理外加数万道题目的前向验证,在算力账单上根本不可能比跑一次标准 LoRA 微调更便宜。
把脚本调试包装成心灵感应,骗得过社交媒体转发,却骗不过开源复现,还会连累报告里真正有价值的工程突破被当成噪音扔掉。如果剥掉那层隔空读权的营销外衣,我对 GPT-6 Astra 在实验 8 里表现出的自动化工程能力反而是高看的。《史记》写扁鹊诊脉,切中病灶所在便能起死回生。一两年前的大模型连写段复杂的 PyTorch 张量分析脚本都会报错,现在的 GPT-6 Astra 却能在 50 次前向传播预算内,自己写探针查出第 15 层和第 19 层 MLP 的激活异常,并算出零梯度的张量热修复方案。
不过这把微创手术刀和 Autoresearch 根本不在同一个维度打架,更谈不上接管全自动科研。Autoresearch 是在代码层靠梯度下降从 0 到 1 构建全局能力,权重空间编程则是在参数层做从 1 到 1.01 的局部除虫。就在同一天,SemiAnalysis 发布了涵盖芯片设计、软件工程、金融和生物等 11 个领域共 206 项复杂任务的 GDPx 基准测试,当前最强的 Opus 5.5 最高分只有 12%,成本低至约四分之一的 Gemini 4 Carbon 得分为 10.9%;外部开发者(csinva)尝试用 Claude 为简单语言任务手写 Transformer 权重时,还在 SNLI 任务上因为违规调用逻辑回归拟合测试集闹出了假 100% 准确率的乌龙。
对于前沿实验室与端侧小模型维护者来说,这项技术真正改变的是模型出厂前的热修复流程与开源安全审计边界。当 0.8B、1.5B 等端侧模型出现特定复读死循环或局部拒答偏差时,研发团队不必冒着灾难性遗忘的风险重跑强化学习,直接派强模型挂 Python 探针改写几万个参数就能打好补丁;反过来,攻击者同样能利用这套自动化探针,在不影响公开基准跑分的前提下,仅改写 0.016% 的权重就在开源模型里隐蔽植入触发词后门或精准抹除单个安全护栏。接下来验证这套方法到底能不能走出实验室,只看两个硬指标:有没有独立团队能在不看 MIT 静态答案的前提下,复现出 20.3 小时自动寻址并生成补丁的动态 Agent 全流程;以及在关闭思考模式的正常基线上,大模型能不能靠改写几万个权重,给没有死循环病灶的模型塞进一项预训练底座里完全不存在的新知识。
