Dwarkesh Podcast(独白文章)

Recursive self-improvement has started

Dwarkesh Patel · Dwarkesh Podcast

2026-11-13 · 44分钟 · 77 万次观看 · Dwarkesh Patel

Dwarkesh 三个月内大幅更新观点:AI 已在加速 AI 研究;数学(在可验证领域快速超越顶尖人类、模型泛化到解决千禧年难题)是 AI 研究的预演——AI 研发高度模块化、有可验证的代理指标,适合「成群的持续爬坡 agent」;他认为距离顶尖人类水平的 AI 研究员也许只有几年甚至几个月;并逐一讨论持续学习、可验证代理、数据和实验算力等反对意见。

观看原视频 ↗

内容概要

Dwarkesh 说年初他会认为超级智能至少还要大半个十年,但三个月的辩论和观察可验证领域的进展让他改变了看法:距离与最佳人类一样擅长 AI 研究的 AI 也许只有几年,甚至几个月;自动化 AI 研究会把大量进展压缩到一年内,到 2030 年、甚至最早明年,就可能出现至少同样强的 AI。数学是预览:AI 研究的优先级恰好与数学相反——数学看重扩展概念理解(拓扑、群论),实验室只关心新的算法配方能否让训练更高效、模型更聪明,过去十几年深度学习的进展并不需要多少新理论;他提到 OpenAI 的模型并未专门训练解千禧年难题,却从大量较易的数学题泛化到解决了无人解开的问题。AI 研发高度模块化(预训练数据过滤、合成 RL 环境、注意力内核等各团队独立),有可验证的进展代理,一群 agent 可以尝试上千种方法、看哪种最好——在这种领域大量持续爬坡的 agent 能大幅加速进展。超级智能会是很好的元学习者:不需要把每个现实问题的答案都写进权重,扩大 RL 训练会让 AI 在新情境中快速上手;进化在优化草原生存时造出了通用学习者,实验室则有意地提高迁移(在留出的难任务上评估)。AI 研发大体可验证:可以衡量达到某个预训练损失需要多少数据、达到某 RL 分数需要多少任务、单次会话中达到某水平需要多少反馈——样本效率和在线学习是同一问题的两面,被视为机器学习最深的开放问题。较小的模型快速训练、每天可做上千次实验,不必赌小规模结果能放大;他认为离预训练的极限还很远。反对意见:持续学习(也许不需要一个持续学习者来解决持续学习,它本身就是有干净代理指标的研究问题);找到正确的可验证代理;数据(迭代训练模型去构造更好的任务);实验算力(自动研究员越多,每个分到的算力越少,但每个 agent 仍能分到相当的算力)。

要点(点击时间跳到原视频)

  1. 0:00

    三个月内大幅更新:距离顶尖人类水平的 AI 研究员也许只有几年甚至几个月;自动化 AI 研究会把大量进展压缩到一年内。

  2. 2:03

    数学是 AI 研究的预演:在可验证领域,模型迅速超越人类,并从较易的题泛化到解决无人解开的问题。

  3. 4:26

    AI 研究的优先级与数学相反:实验室只关心配方能否让训练更高效,深度学习十几年的进展并不需要多少新理论——更像「磨题」。

  4. 13:21

    AI 研发高度模块化、有可验证的进展代理:一群 agent 可以对流水线各部分独立尝试上千种方法,大量持续爬坡的 agent 会大幅加速进展。

  5. 17:21

    超级智能是很好的元学习者:不必把每个现实问题的答案写进权重,扩大 RL 会让 AI 在新情境中快速上手;实验室有意提高迁移。

  6. 25:59

    AI 研发大体可验证:数据效率、达到 RL 分数所需任务数、会话内达到目标所需反馈——样本效率与在线学习是同一问题的两面。

  7. 31:03

    小模型快速训练、每天上千次实验,不必赌小规模结果能放大;离预训练极限还很远。

  8. 33:59

    反对意见:持续学习(也许不需要持续学习者来解决持续学习)、可验证代理、数据、实验算力(每个自动研究员分到的算力会变少)。

可以用在日常工作里的

  • 判断

    关注「可验证的代理指标」:凡是能被自动验证的工作,都会最先被大规模 agent 爬坡加速——包括你自己团队的工作。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录