不训练，改 0.016% 的权重：MIT 让大模型直接给小模型动手术，数学分翻了六倍

11 月 2 日，MIT CSAIL 的四位研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发了一篇研究博客，名字叫“Sparks of Weight-Space Programming”。核心做法一句话就能说清：不跑训练、不用梯度，让前沿大模型直接读另一个小模型的权重数字，推理出它哪里出问题，再亲手改掉那部分权重。

最抓人的实验用的是 GPT-6 Astra，对 Qwen3.5-0.8B 动手。Astra 先发现这个小模型经常陷入推理循环，烧满 32768 token 也不给答案；追踪到第 15 层和第 19 层的 MLP 写出的一个方向，反向减掉每层 64 列输出，总共改了 131072 个权重，只占 0.016%。结果是 MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，指令遵循 IFEval 从 21.0% 升到 62.3%，撞上 token 上限的回答比例从 93% 降到 33.1%。同一批实验里，Astra 还能从零写出小型游戏网络；作者也放出了完整日志和可精确比对的权重改动。

反例同样重要，而且作者没有藏着。Gemma 那个对照组很少陷入长时间重复，Astra 的改动就没有带来可确认的数学提升——这说明这次修复修的是“循环”这个具体故障，不是给模型凭空加了数学能力。还有一处提醒：Astra 一开始分不清“被训成顺着用户说话的模型”和“被训成答对的模型”，直到研究者给了执行时的注意力测量数据才成功。换句话说，大模型读权重的能力有，但不是全自动的读心术，仍需要人给对测量工具。

我的判断：对小团队来说，这篇的意义不在“以后不用训练了”，而在“修小模型多了一条低成本路径”。你手里的小模型如果表现差，先问一句是不是某个可定位的故障在拖后腿——循环、重复、提前截断——而不是直接默认要加数据、重训一轮。但这条路今天还只是带公开日志的演示，作者自己也说下一步是建基准和测试框架；在那之前，它不是可复现的能力分数，别把它当成生产修复手段。

代价和适用范围也要算清。能读权重，就能用来审计后门；能写权重，攻击者也可能跳过训练直接改模型——同一项能力两边都能用。小团队现阶段最实际的用法，是拿它的思路做故障定位：复现问题、定位到层和方向、验证改动效果，而不是直接把改动后的权重上线。

这个结论在什么情况下不成立：如果故障不是单一、可定位的机制问题，而是数据、训练目标或评估本身的问题，改几个权重救不回来；模型越大、结构越复杂，直接读写的难度和风险也越大——那时老办法（数据、训练、评估）仍然是正道。