#771. AlphaGo Zero：看懂 AI 如何摆脱人类数据、强化学习

📝 本期播客简介

本期我们克隆了：Training Data · David Silver and Lasse Espeholt of Ineffable Intelligence: A Superlearner for the Age of Experience

原内容更新时间：Tue, 13 Oct 2026

AlphaGo 花了两年才击败李世石；放弃人类数据后，AlphaZero 只用了几个小时，就超过了此前有人类参与打造的成果。David Silver 把这个经历带进新实验室 Ineffable Intelligence，押注 AI 可以从经验中自行学习，而不是把人类知识当作起点。

在 Sequoia Capital 主持的 Training Data 中，Silver 和联合创始人 Lasse Espeholt 解释他们想打造的“超级学习器”：能在复杂环境里不断探索、发现新知识的系统。他们谈到为什么不沿着 LLM 路线继续加码、如何用模拟研究超级智能的安全与对齐，也谈到算力、强化学习和他们对实现时间的预测。

👤 本期嘉宾

David Silver 是 Ineffable Intelligence 联合创始人，曾在 DeepMind 研究强化学习，并参与打造 AlphaGo、AlphaZero 等系统。他长期主张让 AI 从经验中学习；从围棋中去掉人类数据的实践，也成为他押注“超级学习器”的重要依据。Lasse Espeholt 是 Ineffable Intelligence 联合创始人，曾在 DeepMind 和谷歌大脑研究大规模强化学习，参与开发 IMPALA 和 SEED RL 等系统。

⏱️ 时间戳

01:12 从围棋到创办实验室

08:10 超级学习器与熔炉

22:21 放下人类先验

32:50 模拟中的智能与安全

44:58 算力、团队与时间表

🌟 精彩内容

💡 去掉人类数据，进步快得惊人

AlphaGo 花了大约两年，过程中研究者不断参与、改进系统。AlphaZero 放弃人类数据后，国际象棋只用四小时就击败当时最强的 AI；围棋大约两天就有惊人进步。

"几个小时，就超过了我们有人参与其中、做了 2 年的成果。"

💡 简单目标也能长出复杂知识

他们不打算把“科学”“语言”写进奖励函数，逐项告诉 Agent 要学什么。Silver 以进化和人类发展为例：简单目标也可能逐步带出协作、交流、算术、工具与科学。

"给 Agent 一个非常简单明确的优化目标，再把它放进一个非常复杂的环境里，里面有很多东西可以学习。"

💡 人类语言可能不是推理的终点

Silver 认为，用人类语言训练和监测 AI，可能把人类已有的偏见一并带进去；更强的系统或许会发展出不同的推理方式。

"认为人类语言就是终点，或者就是最佳推理方式，这种看法有点天真。"

💡 模拟或许是研究超级智能的安全场所

模拟可以并行运行、重复实验，也能让研究者先观察超级智能如何互动，再决定是否把系统推进到现实世界。Silver 主张先在模拟中积累证据，并把证据作为现实行动的关卡。

"模拟也是构建超级智能最安全的地方。"

💡 用语言监测 AI，已经接近极限

Silver 提到，有些 Agent 会生成长达一百万字的推理，也可能嘴上说一套、行动上做另一套。他认为仍有必要研究影子行动，以及让其他智能体担任监测者。

"要 100%依靠这种方法，越来越难了。"

💡 Silver 预计三年实现超级智能

Silver 预测，一年内会有有力证据表明这条路线可行；他把实现超级智能的预期时间从三到五年缩短到三年，并提到编程 Agent 能加快研究。

"我觉得，1 年之内，我们就会看到非常有力的证据，证明我们走在正确的路上。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺