📖 AI 总结

理查德·萨顿（Richard Sutton）作为强化学习领域的先驱和图灵奖得主，在近期访谈中对其新公司Oak Lab的愿景及当前AI训练方法提出尖锐批评。他认为，大型语言模型虽体现了“苦涩教训”中规模计算的优势，却因互联网数据有限而遭遇瓶颈。针对合成数据这一主流策略，萨顿明确称之为“重大错误”，其依据是“大世界假说”：现实世界复杂度远超任何模拟或存储数据，合成数据无法捕捉其他智能体的内在运作，且依赖人类专家筛选数据，形成新的瓶颈。他主张，要突破当前局限，需转向能应对无限复杂世界的学习方法，而非依赖有限的人造数据或内置人类知识。这一观点对主流AI实验室的数据扩展路线构成直接挑战，强调未来进展应源于对真实世界复杂性的适应，而非模拟数据的堆砌。