7.6
深览指数
科技虎嗅·AppSo··AI 生成
GPT-6 Astra 爆改Qwen 大脑：只动0.016% 参数，数学成绩疯涨
MIT CSAIL 让 GPT-6 Astra 直接读取并修改神经网络权重（「权重空间编程」），仅改动 Qwen3.5-0.8B 的 131072 个参数（占 0.016%），MATH-500 从 7.9% 提至 48.1%，GSM8K 从 13.8% 提至 67.1%。关键发现是 Astra 定位并删除了导致重复推理的 MLP 方向，抑制了循环输出，而非注入了新数学知识。文章同时收录了「只是修 Bug」与「阶跃式新能力」两派争议，适合关注大模型可解释性、模型编辑与 AI 自优化方向的读者。原文 ↗
核心观点
- ▍大模型可直接读取并修改另一个神经网络的权重，实现「权重空间编程」，不必依赖梯度训练或微调即可改变模型行为。
- ▍Qwen3.5-0.8B 数学成绩的提升主要来自 Astra 定位并删除了导致重复推理的 MLP 方向，而非注入了新的数学知识。
- 01仅修改 Qwen3.5-0.8B 的 131072 个参数（约 0.016%），MATH-500 从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 从 21.0% 升至 62.3%。
- 02修改前检查的 96 个练习答案中，有 85 个生成到 32768 token 上限仍未给出最终答案，Astra 将循环归因于部分 MLP 层写出的特定方向。
- 03在小车控制实验中，PPO 训练约 10 亿步仍卡在坡上（256 局零成功），Astra 只修改 3.5% 权重就加入「先后退蓄力再全速前进」路径，成功率从 0 升至 100%。
- 04Astra 仅凭权重就能判断小型网络对应哪款游戏、扩散模型生成圆/方/三角，以及中间层训练语料是 Python、英文还是日文罗马字。
- 05从零生成游戏网络权重，在三个 MinAtar 游戏中超过训练 1 亿步的 PPO 网络，在 9×9 围棋中超过训练 2000 万局的同规模 PPO 网络。
反方 / 局限
- — 对很少出现推理循环的 Gemma 3 270M，Astra 的修改没有带来明确提升：MATH-500 基线 6.8%，修改后仅 7.0%。
- — 有网友质疑提分主要与减少循环有关，思路与已有的激活引导方法相近，且提供给 Astra 的长提示词已明显暗示循环问题并引导其寻找修复神经元。
- — 普林斯顿博士生 Xingyu Dang 的 Writing Weights Index 测试显示开源模型在读写权重任务上表现困难，这种能力可能只是最新前沿模型才具备，而非通用技能。
- — 在识别「谄媚模型」实验中，Astra 仅比较权重时无法判断，直到被允许观察注意力模式才识别出差异，说明直接读懂权重目前仍不稳定、不通用。
MIT CSAILGPT-6 AstraQwen3.5-0.8B权重空间编程 (Weight-Space Programming)MATH-500GSM8KIFEvalGemma 3 270MPPOMinAtarWriting Weights IndexXingyu DangClaude
13 分钟 · 6 卡片 · 10 资料
读原文 →