GPT-6 Astra直接改写Qwen权重，数学能力飙升6倍：「神经网络的基因编辑」时代来了？

撰文：深潮 TechFlow

不需要训练，不需要数据，不需要梯度下降。

MIT的研究人员把一个开源小模型的权重丢给了GPT-6 Astra，用自然语言下了一道指令：「把它的数学能力提上去。」

Astra花了20个小时，翻阅了8亿个参数，找到了两层网络中的131,072个权重，动了手术。

手术前，这个模型在MATH-500基准测试上的得分是7.9%；手术后，48.1%。

这就是今日最炸裂的AI新闻。

一场没有梯度的手术

11月2日，MIT计算机科学与人工智能实验室（CSAIL）的研究团队发布了一篇博客，公布了一项他们称之为「权重空间编程」（Weight-Space Programming）的实验结果。第一作者Rikiya Takehi是MIT CSAIL一年级博士生，合作者包括Jayden Teoh、Alex Zhang，以及Takehi的导师Omar Khattab。

实验的核心思路可以用一句话概括：让一个足够强的AI，直接阅读另一个AI的「大脑」，找到问题所在，然后用手术刀精准修改。

被选中的「患者」是阿里巴巴的开源模型Qwen3.5-0.8B，一个8亿参数的小型语言模型。「外科医生」则是OpenAI最新的GPT-6 Astra。

研究团队给Astra提供了三样东西：一批数学练习题、一个可以读写模型权重的Python环境，以及有限次数的模型推理调用权限。没有GPU，没有训练循环，没有优化器。Astra需要像一个人类研究员一样，通过观察模型的行为和检查权重数值，诊断出问题，然后直接修改参数。

整个过程持续了20.3个小时，其中4.7个小时花在了等待服务中断恢复上。Astra进行了158轮对话、80次Python执行和50次模型评估。

最终，它在第15层和第19层的MLP输出矩阵中，找到了一个导致模型陷入重复输出的「数值方向」，然后从64个输出列中减去了这个方向。被修改的权重总共131，072个，占模型全部参数的0.016%。

数学成绩翻了六倍

改动虽小，效果炸裂。

在三个基准测试上，修改前后的对比如下：

MATH-500：7.9% → 48.1%

GSM8K：13.8% → 67.1%

IFEval（指令遵循）：21.0% → 62.3%

还有一个更直观的数字：修改前，Qwen3.5-0.8B在MATH-500上93%的回答都因为陷入重复循环而触及了32,768个token的上限。修改后，这一比例降到了33.1%。

VentureBeat的报道把这比作「神经网络的基因编辑」。这个比喻精准地抓住了要害：传统的模型训练像是让一个人通过大量练习来提高数学能力，而权重空间编程更像是直接打开大脑，找到那根接错的神经，重新接上。

但研究团队自己给出了一个重要的限定：Astra并没有给Qwen注入新的数学能力，它只是移除了一个阻碍模型发挥已有能力的障碍。

这个区别至关重要。为了验证这一点，团队在Google的Gemma 3 270M模型上重复了同样的实验。Gemma 3很少出现重复输出问题（只有8.5%的回答触及token上限），结果Astra对它的MATH-500得分几乎没有任何改善，波动不超过1个百分点。

结论很清晰：权重空间编程目前能做的是「拆除路障」，不是「修建新路」。

不止是数学

数学只是研究团队展示的一个场景，Astra在权重空间中的能力远不止于此。

识别「灵魂」：研究团队训练了四个架构完全相同的Atari游戏策略网络（Breakout、Pong、Pac-Man、Freeway），然后只把权重丢给Astra，不给任何标签。Astra仅凭权重数值就准确识别出了每个网络对应的游戏。它的推理方式是：Breakout网络的第一层权重集中在画面底部（球拍位置），输出层的动作分布偏向左右移动。

从零造网络：在MinAtar（Atari的迷你版本）实验中，Astra从零开始，直接在权重空间中「写」出了游戏策略网络。在Breakout上，Astra写的网络得分517.4，而用PPO算法训练5亿步的网络只得了25.3分。

修复卡死的自动驾驶：一个用PPO训练的小车控制器在坡道上卡住了，陷入了局部最优。Astra只用一轮对话，修改了3.5%的权重，修复后的控制器在1，024次测试中全部成功。

这些实验的共同点是：Astra不仅能「读懂」权重，理解每个数字代表什么行为，还能「改写」权重，让模型做到训练算法做不到的事。

「神经网络的基因编辑」意味着什么？

在权重空间编程之前，学术界已经有过直接编辑模型权重的尝试。2022年NeurIPS上的ROME和2023年ICLR上的MEMIT，都展示了如何在语言模型的权重中精确插入或修改一条事实性知识，比如把「埃菲尔铁塔在巴黎」改成「埃菲尔铁塔在罗马」。

但ROME和MEMIT做的是「事实层面的查找替换」，操作对象是单条知识。MIT团队这次展示的不同：Astra修改的是模型的通用能力，数学推理和指令遵循，这跨越了从「编辑一个知识点」到「改变一种行为模式」的门槛。

Takehi在博客中的判断更加激进：「神经网络的权重，很快将由能够推理权重的LLM原生优化。」

如果这个方向被验证，潜在的应用场景包括：

模型修复：部署后的模型出了问题，不用拉回来重新训练，直接让另一个AI「看诊」修改。对于那些训练成本动辄数千万美元的前沿模型来说，这可能意味着巨大的成本节约。

模型审计：如果AI能读懂权重，那么安全研究人员也可以用它来检查一个模型是否被植入了后门或恶意行为。

开源模型定制：一个足够强的AI可以根据自然语言指令，为开源模型「定制」能力，不需要任何训练基础设施。

硬币的另一面

GPT-6 Astra本身就是一个争议缠身的模型。OpenAI曾因安全顾虑推迟了其升级版GPT-6.1 Astra的发布。

OpenAI首席科学家Jakub Pachocki在Astra发布三天后撰文警告：OpenAI的内部测试结果表明，AI进步可能走向「递归自我改进」，即AI系统越来越多地参与构建自己的继任者。他说，没有任何实验室的内部审查体系足以应对这一前景。

权重空间编程恰好触及了这个警告的核心。如果一个AI能修改另一个AI的权重来提升能力，那么理论上，一个AI能不能修改自己的权重？

研究团队在博客中明确指出，他们没有展示递归自我改进，也没有展示效果可以持续叠加。但这并没有阻止安全社区的警觉。PauseAI的Maxime Fournes称这是「一个极其鲁莽的研究方向」。

目前的限制是真实的：实验只在一个8亿参数的小模型上成功了，在Gemma 3上失败了。整个过程需要20个小时和大量的试错，没有独立团队完成过复现，与传统微调相比的成本优势也未经验证。

但方向已经被指出来了。ICML 2026上已有论文提出，权重空间应该成为生成式AI的「一等公民模态」，与文本、图像、音频并列，模型应该原生地理解和操作权重。

如果说2024年是AI学会「看图说话」的一年，2025年是AI学会「动手写代码」的一年，那么2026年可能正在成为AI学会「改造AI」的一年。

这条路通往哪里，目前没有人知道。