7.4
深览指数
科技量子位··AI 生成
MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍
MIT实验让GPT-6 Astra直接在权重空间编程：仅修改Qwen3.5-0.8B中0.016%的权重（第15、19层前馈网络各64个输出列），不做梯度训练，MATH-500得分从7.9%升至48.1%，指令执行能力同步提升约3倍。Astra还能从文本形式的权重中识别小网络用途、定位归纳头，并在权重全零网络上一次回复写出超越PPO 5亿步基线20倍的游戏策略。作者称之为Weight-Space Programming。适合关注大模型可解释性与训练范式的读者。原文 ↗
核心观点
- ▍前沿大模型可在无需梯度下降与训练的情况下，直接读取、诊断并改写神经网络权重，作者称其为Weight-Space Programming（权重空间编程）。
- 01对Qwen3.5-0.8B仅改动0.016%权重，MATH-500得分从7.9%升至48.1%，回答触及32768 token上限比例从93.0%降到33.1%。
- 02Astra把数学能力差的根因定位到推理循环，并追溯到第15层与第19层前馈网络各64个输出列，未使用梯度训练但保留诊断与验证环节。
- 03在四个架构、输入通道、动作选项完全相同的小游戏网络上，Astra仅凭权重文本正确识别打砖块、乒乓、吃豆人、高速公路，依据之一是权重集中的位置。
- 04三个720万参数、分别以Python代码、日语罗马字、英语训练且移除输入输出层的小语言模型，Astra仍认对语言并找出全部归纳头。
- 05小车爬坡任务中，Astra不用工具、一次回复写出补丁，只改3.5%权重，使1024次测试全部成功，把训练学不会的动作顺序直接写进权重。
- 06在MinAtar实验里给Astra权重全零的网络，它一次回复生成的策略平均得分517.4，而PPO训练1亿步得15.8、5亿步得25.3，高出约20倍。
反方 / 局限
- — Astra的知识与能力仍来自其自身预训练，分析权重、生成代码、批量推理与评测都消耗算力，作者明确GPU暂时不会退休。
- — 读取权重存在可观测的失败：面对实际生成实心图形的扩散模型，Astra把图形全部读成轮廓，说明权重语义解析并不总是准确。
- — Qwen实验省掉的只是梯度训练，模型诊断与验证仍在，且不同前向调用预算（10/25/50次）下得分从12.3%到48.1%差异巨大，效果对预算高度敏感。
GPT-6 AstraMITQwen3.5-0.8BWeight-Space ProgrammingMATH-500PPO归纳头（induction head）MinAtar前馈网络rikiya（Rikiya Takehi）
7 分钟 · 6 卡片 · 9 资料
读原文 →