6.8
深览指数
科技微博·机器之心Pro··AI 生成
年近70，强化学习之父Sutton创业了！
图灵奖得主、强化学习之父理查德・萨顿（Richard Sutton）在年近70岁时宣布创业，成立新公司Oak Lab。其核心目标是基于OaK（Options and Knowledge）架构，打造一个不依赖海量静态数据，而是通过与环境交互的实时试错学习来通向AGI的万亿参数、20瓦低功耗智能体。这标志着萨顿将其长期坚持的「通过经验学习」的学术理念，正式推向实践，并站在了当前主流大模型Scaling Law路线的对立面。适合对AI技术路线之争、AGI不同实现路径感兴趣的读者，以理解萨顿对LLM天花板的批评及其替代方案。原文 ↗
核心观点
- ▍强化学习之父Richard Sutton认为当前主流大语言模型（LLM）的扩展存在天花板，因其依赖静态数据预训练，缺乏真正的探索和发现能力，无法通向AGI。
- ▍Sutton创业成立Oak Lab，旨在推进其提出的OaK（Options and Knowledge）架构，打造一个通过运行时（Run-time）持续学习、在20瓦低功耗下运行、拥有万亿参数，并能通过纯粹经验累积通向AGI的智能体。
- 01Oak Lab的核心理念是让AI不再依赖人类喂养的庞大数据集，而是像生物一样，在与环境交互的过程中实时试错、进化并自我完善。
- 02Sutton以AlphaGo/AlphaZero为例，认为真正的智能在于通过自我对弈和强化学习探索出人类从未见过的知识，而非仅仅模仿人类数据。
- 03Sutton的弟子、AlphaGo之父David Silver已于今年1月创业，其理念与Sutton类似，也是通过强化学习让AI在与环境互动中生成新知识，侧面反映了该路线的学术影响力。
- 04OaK架构的核心是让智能体建立关于环境的内部「世界模型」，并利用这些模型预测自身行为的长期后果，实现基于选项（Options）的长期规划，这是当前Transformer架构难以内生实现的。
- 05Sutton及其团队在在线学习领域已有多年积累，如SwiftTD、Swift-Sarsa等工作，旨在解决系统自主调节学习速度和识别有用信息的问题，为OaK架构提供了技术铺垫。
反方 / 局限
- — 虽然Sutton批评LLM扩展有天花板，但文章并未提及OaK架构在实现万亿参数和20瓦功耗目标时，所面临的具体工程挑战（如计算效率、硬件适配、训练稳定性等），也未说明其与现有LLM路线的可行性对比数据。
理查德・萨顿（Richard Sutton）Oak LabOaK（Options and Knowledge）架构强化学习大语言模型（LLM）AGI（通用人工智能）David SilverAlphaGoAlphaZeroThe Bitter LessonTransformer阿尔伯塔大学
4 分钟 · 5 卡片 · 13 资料
读原文 →