7.7
深览指数
科技腾讯新闻··AI 生成
目前架构下,自进化后的AI也无法替代人类的判断力|田渊栋
田渊栋认为,当前AI实现的是自动化R&D(将已有流程交给Agent),而非真正的自进化(发现新算法与架构)。RSI(递归式自我改进)的真正门槛不是算力,而是奖励信号与人类洞察。模型在模式匹配上已胜于人,但缺乏对新结构的概念性理解,难以实现伽罗华发现群论式的高级创新。因此,人类最后的护城河是方向感(Taste)和领域专长——那些无法被结构化外化的深层理解。原文 ↗
核心观点
- ▍自进化AI的真正门槛不是行动空间的大小(调参、改代码),而是系统能否在探索空间中形成有效的、对应深层问题结构的洞察。
- ▍在目前架构下,AI擅长从过去的样本中做模式匹配,但在创造如群论或相对论这种全新的概念框架上,仍然力不从心;人类的方向感(Taste)与领域专长是难以被替代的核心价值。
- 01Recursive AI的目标是让AI能发现新的算法、架构与训练范式(如找到与Transformer完全不同的架构),而不仅是优化已有流程。
- 02尽管Claude已接管Anthropic内部超80%的代码,M3模型在特定优化任务上实现了52倍加速,但这些仍属于自动化R&D,未构成完整的自我进化闭环。
- 03复杂创新(如伽罗华发现群论、爱因斯坦发现相对论)需要改变问题本身的表达方式,而非仅在已有模式中做更好的匹配,这是当前AI做不到的。
- 04自进化系统的最大瓶颈是反馈慢的问题:训练一次前置模型可能以周或月为单位,使得快速迭代和验证非常困难。
- 05Meta内部的小团队(临时转为做大模型训练)在效率上胜过大团队,最终开发出Llama第一代,这表明组织架构与带头人的判断力远比人数重要。
- 06模型可以作为粗浅信号的验证器(verifier),但对于更高级的复杂问题,仍需人类的鉴赏能力来发现和定义关键信号。
反方 / 局限
- — 如果未来RSI系统能将“让AI变强”这件事本身完全自动化,人类当前的“费米层级”价值可能会被消灭,这是一个囚徒困境式的必由之路。
- — 田渊栋怀疑“skill蒸馏”能在多深层次上复制人类知识。流程性知识(如开发票)容易被复制,但依赖情境判断和隐性经验的深层理解难以被蒸馏。
28 分钟 · 5 卡片 · 13 资料
读原文 →