Cmpnd 开源 dspy-wsp：用 GPT-6-Astra 花 5 美元改权重，真能取代微调

不跑梯度下降、不准备微调数据集，也不用租 GPU 集群，只花 5 至 10 美元调用前沿大模型 API，就能直接改写本地小模型的参数并大幅提分。Cmpnd 发布的开源原型优化器 dspy-wsp（基于 MIT 许可证，需配合 DSPy 3.5）把权重空间编程（Weight-Space Programming，WSP）装进了 DSPy 框架。账面数字很诱人，但剥开测试规则就会发现，这套方案离取代传统微调还很远，它目前真正跑通的只是局部数值拟合与模型除虫。

5 美元改写模型参数，高分背后藏着沙盒重算的规则放宽

过去开发者优化大模型应用，手里只有两根杠杆：要么用 DSPy 的 MIPROv2、GEPA 改提示词，模型权重纹丝不动；要么用 BootstrapFinetune 或 LoRA 做微调，靠梯度下降和 GPU 算力硬训。dspy-wsp 提供了第三条路，让充当 Writer 的前沿大模型（测试中为 GPT-6-Astra）在本地沙盒（macOS 用 sandbox-exec，Linux 用 bubblewrap）里直接读取 0.6B 到 9B 小模型的权重张量，像改代码一样写 Python 脚本打补丁，并在 25 次前向传播预算内验证效果。

在单台 MacBook Pro（基于 MLX 框架）上针对 400 个隔离测试样本（共 2,000 个决策）的 Typed Decisions 基准测试中，Cmpnd 给出了五款模型的详细账单与跑分。同时，他们还对比了自家另一款不改模型权重、只用网格搜索调整输出概率阈值（Noul 阈值、Score 切分点和 Choice 权重）的校准工具 ReAnchor。

单看表格，花 7.63 美元改写 d1-omni-600M 决策头里的 112,640 个参数（加上 220 个偏置项），就能让准确率暴涨 16.1 个百分点；在没有独立决策头的 d1-2B 上，对第 23 层前馈网络的 1,570 万个参数做秩为 9 的低秩修改，也提了 13.4 个百分点。但这张成绩单底下藏着两个反常细节：在 Strands Decider 2B 上，花 68 分钟改权重（+10.4 个百分点）竟然跑输了几乎零成本、完全不动权重的 ReAnchor 阈值校准（+13.7 个百分点）；而且模型参数一旦扩大到 9B（Clef-Flash），单独改权重的收益立刻缩水到可怜的 1.9 个百分点。

更核心的猫腻在于规则设置。dspy-wsp 默认开启了 simulate_head=True，允许 GPT-6-Astra 在 Python 沙盒内核里把小模型的决策头单独抽出来反复重算和数值拟合。当测试者按照原论文的严格规则设为 False（禁止在沙盒里偷算决策头，只准老老实实调用前向传播工具）并重测 d1-omni-600M 时，花费 9.25 美元、耗时 73 分钟后，WeightSpace 的提分从 +16.1 个百分点直接暴跌至 +2.8 个百分点（±0.7），叠加 ReAnchor 后总分停在 +9.3 个百分点——这意味着在严格规则下，大模型改权重没有带来任何额外增益。此外，这项技术极度挑剔执笔模型：把 Writer 换成 gpt-6.1-sol 后，d1-omni-600M 仅提升 5.8 个百分点，NanoJev 提升 12.1 个百分点，而在 d1-2B 上甚至倒退了 0.6 个百分点。

切掉死循环不等于注入新能力，独立评测泼下高方差冷水

要看清权重空间编程的能力边界，必须回到这项技术的源头。2026 年 11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 DSPy 核心作者 Omar Khattab 发表了《Sparks of Weight-Space Programming》。在那篇论文的 9 项实验里，GPT-6-Astra 展现出惊人的直觉：仅凭裸读权重就认出了 4 个强化学习 PPO 策略网络对应的雅达利游戏（Breakout、Pong、Pac-Man、Freeway）；一步写入零初始化网络在 MinAtar Breakout 上打出 517.4 分（PPO 训练 5 亿步仅得 25.3 分）；修改 3.5% 的权重就让原本 256 次全败的 Kinetix 汽车匝道控制策略在 1,024 次测试中全部过关（独立复现者 Flecart 随后在噪声范围内复现了这两项强化学习成绩，并证实生成的 Breakout 网络相当于一个紧凑的球体预测算法）。

最出圈的案例是修复 Qwen3.5-0.8B：Astra 定位到第 15 和 19 层 MLP 的异常，只改了 0.016% 的权重（131,072 个参数），经过 50 次前向传播，就让 MATH-500 准确率从 7.9% 飙升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 从 21.0% 升至 62.3%。

大模型不是教会了小模型做数学题，只是帮它切掉了死循环的病灶。

但深挖数据就会发现，Qwen3.5-0.8B 原本在 MATH-500 测试中有高达 93.0% 的回答因为陷入重复循环而触发 Token 上限，修改权重后这一比例降到了 33.1%。换句话说，小模型本来就会做题，Astra 只是切掉了阻碍输出的死循环神经元；当研究团队试图用同样的方法给本身缺乏数学能力的 Gemma 3 270M 提分时，MATH-500 仅从 6.8% 微升至 7.0% 到 7.7% 之间，连作者自己都承认不算有效提升。

spaCy 作者 Matthew Honnibal 在 2026 年 11 月 3 日撰文一针见血地指出，这项研究把裸读极小网络权重和利用 Python 工具修复语言模型混为一谈了；GPT-6-Astra 修复 Qwen 依赖多达 50 个批次的执行反馈，本质上是一个 Agent 在做带反馈的机器学习工程试错，绝非靠肉眼读懂了 8 亿个浮点数。

更严峻的挑战来自工程可靠性。独立研究 WSP-Scope 对两个尺寸的 Qwen 模型在 7 个基准上跑了 16 条编辑轨迹，结果暴露出极大的方差：其中 6 条轨迹彻底失败，只能保留原始权重；在同一个小模型数学任务上，三次独立搜索的收益分别是 +29.45、+5.00 和 +27.30 个百分点，高低相差超过 24 个百分点；更有一个 9B 模型在开发集上狂涨 29.69 个百分点，到了隔离测试集上却倒退 0.35 个百分点，发生严重过拟合。另一项针对 433 至 4,801 参数小型临床网络的独立实验也证实，虽然大模型找出了 18 个预设缺陷中的 16 个、通过中位数 3 次参数修改完成修复，但传统梯度微调修复了全部 18 个网络，且简单的统计与黑盒测试就能更快抓出问题。

别当成微调替代品，它真正的价值是端侧模型的热修复补丁

截至 2026 年 11 月 14 日，没有任何独立基准测试证明 dspy-wsp 在同等预算下能跑赢 DSPy 自家的 MIPROv2、常规 GEPA 提示词优化或传统 LoRA 微调；就连项目自身早期用 GEPA 种群搜索权重编辑（跑 51 次前向传播）对比默认对话模式（25 次前向传播），差异也小于两个标准误。

• 风险.单次运行耗时长达 68 至 167 分钟，搜索结果方差极大且在 9B 规模上容易过拟合，若开发者盲目将其塞进常规生产流水线替代微调，只会换来高昂的时间成本与不可控的线上表现。

但这并不意味着 dspy-wsp 毫无用处。对于端侧 AI 团队和开源小模型维护者来说，它提供了一种极轻量级的故障热修复手段。每次运行结束后，dspy-wsp 只把改动过的参数导出为 manifest.json 和 edit.npz 补丁包，并附上原始与修改后张量的 sha256 哈希校验，用户通过 dspy-wsp apply 就能拼回完整权重并交由 vLLM、PyTorch 或 MLX 部署。

当你在端侧部署一个 0.6B 或 2B 的小模型，发现它在特定指令下老是陷入死循环，或者某个分类选项打分系统性偏高，而手头又没有足够的数据集和 GPU 去做全量微调时，花 7 美元让 GPT-6-Astra 跑两个小时生成几百 KB 的权重补丁救急，是一笔划算的买卖。在此之前，先花几秒钟跑一遍不改权重的 ReAnchor 概率校准，如果阈值切分解决不了问题，再请出大模型动刀也不迟。