7.8
深览指数
科技微博·机器之心Pro··AI 生成
田渊栋：与GPT-5合写最后一篇论文后，我意识到自己5年内会失业
田渊栋在播客中坦言，与GPT-5合写论文后，他意识到自己的研究工作在未来5年内可能被AI取代，并因此选择创业。他认为，在AI研究闭环（想法、编码、实验、分析）中，最难自动化的是“想法”，但当前模型擅长重复性工作而缺乏真正跳出框框的能力。文章核心观点是：研究者必须从“提出具体假设”转向“元层面思考”，而新架构和更高学习效率（类比人脑）才是通向AGI的关键，而非单纯扩大算力。适合关注AI前沿研究范式转型、算法与架构演进的研究者和技术决策者阅读。原文 ↗
核心观点
- ▍在AI能自主产出研究想法和代码后，人类研究者必须从提具体假设转向元层面思考，否则5年内会被取代；田渊栋选择创业而非被动失业。
- ▍当前架构（Transformer）及其训练范式（梯度下降、语言数据）可能陷入“元层面局部最优”，需要新的架构和学习范式（如连续潜空间推理、无梯度优化）才能实现与人类相当的学习效率。
- 01田渊栋在Meta的最后一篇论文（研究grokking现象）与GPT-5合作，效率提升了约6到10倍（保守估计），且当时他还在自己写代码。
- 02他参与的Coconut论文（连续潜空间思维链）基于自身观察：思考时不用语言，而是用潜在表示（叠加态），这在图遍历等任务上可能具优势。但前沿模型未采用，主因是缺乏潜空间训练数据。
- 032018-2019年强化学习实验表明，真正重要的不是算法，而是动作空间和状态空间的设计；神经架构搜索的例子说明，若动作空间组织不当，搜索空间会指数爆炸，算法无效。
- 04对于Transformer替代架构（如新架构在小规模数据表现好但规模化后失效），田渊栋认为是归纳偏置所致：数据少时需要结构假设，数据足够多时模型自己找规律更好（如ViT在ImageNet规模不如CNN，数亿数据后反超）。
- 05Recursive公司开发的NanoGPT Speedrun将训练时间从79.7秒压到77.5秒，其中对已知技巧的组合（如不同层使用不同嵌入表）包含了新的创造性。
- 06田渊栋对开源模型追上闭源模型持乐观态度，认为只要越过“可用”的线（如Kimi），编程智能体就会商品化，每个人都会用自己喜欢的模型。
反方 / 局限
- — 田渊栋承认，让AI自主提出创新想法目前仍不现实：当前模型擅长的重复性工作大量存在于互联网数据中，但要求模型“真正跳出框框”需要新的架构和更少数据的信号捕获能力。
- — 关于Recursive在NanoGPT Speedrun上的成绩，田渊栋回应“两者兼有”——既有对新技巧的发现（如在注意力中加入bigram信息），也是对已知技巧的高效搜索，即部分工作可视为已有技巧的组合。
田渊栋Meta FAIRRecursive SuperintelligenceOpenAICoconutGPT-5AlexNetAlphaGoDarkForestLA-MCTSRavid Shwartz-ZivThe Information Bottleneck
12 分钟 · 3 卡片 · 8 资料
读原文 →