Sequoia AI Ascent 2026

Robotics' End Game

Jim Fan · NVIDIA(具身自主研究组 GEAR)

2026-04-30 · 20分钟 · 34 万次观看 · Sequoia Capital

「大平行」:机器人照抄 LLM 的路线——世界模型预训练(预测下一个物理世界状态)→ 动作微调 → 物理 RL;视频模型在规模上自发学到重力、浮力、光照,VLA 让位于「世界动作模型」(DreamZero);遥操作让位于第一人称人类数据(EgoScale:2.1 万小时人类视频 + 4 小时遥操作);「算力 = 环境 = 数据」。

观看原视频 ↗

内容概要

Fan 从 2016 年黄仁勋把第一台 DGX-1 送到 OpenAI 讲起:LLM 已进入「终局」,机器人也可以抄作业——「大平行」:LLM 是预训练(模拟字符串)→ SFT(对齐)→ 推理 RL(超越);机器人对应世界建模(模拟下一个物理世界状态)→ 动作微调(对齐到真实机器人重要的那一小片)→ 物理 RL 走完最后一英里。为什么 VLA 不够:RT-2 这类视觉-语言-动作模型的视觉和动作不是一等公民。第二种预训练范式竟是「AI 视频垃圾」:Veo 3 等视频模型在预测下一团像素时自发学到重力、浮力、光照、反射、折射,甚至通过在像素里向前模拟来解迷宫。DreamZero:视频预测对了动作就对,视频幻觉动作就失败;在实验室随便输入提示词,它像 GPT-2 一样努力把动作形状做对(与人握手、解鞋带等未见任务)——他称之为世界动作模型(WAM),「VLA 安息」。数据:Generalist 的可穿戴夹爪、Sunday 的三指数据手套各催生了独角兽;NVIDIA 的 DexUMI 外骨骼与五指灵巧手一一映射,比遥操作更快、成功率更高。EgoScale:用 2.1 万小时野外第一人称人类数据(零机器人数据)预训练,预测手部关节和腕部姿态,再用 50 小时高精度动捕手套数据和 4 小时遥操作(不到训练数据的 0.1%)做动作微调,端到端从相机像素到 22 自由度灵巧手,完成分卡片、操作注射器转移液体等任务;人类验证损失随数据量(1k→20k 小时)呈扩展规律。「遥操作安息,传感化人类数据万岁」。环境:前沿实验室花大钱买数百万个编码 RL 环境,机器人也急需扩展环境;真实机器人上的 RL 可把某些任务推到接近 100% 成功率、连续运行数小时;DreamDojo 是纯数据驱动的世界模型,实时输出下一帧画面和传感器状态,没有物理方程和图形引擎。新的后训练范式:少量真实机器人工作站 + 跑世界模拟的图形核心 + 跑世界模型的推理算力——算力 = 环境 = 数据(「买得越多省得越多」)。技术树:物理 API、黑灯工厂(输入 Markdown 设计,输出组装好的产品)、自动化湿实验室、最终是「物理自动研究」——机器人设计、改进、建造下一代自己;从 2012 年 AlexNet 到 2026 年用了 14 年,再加 14 年是 2040 年。他认为两三年内会通过「物理图灵测试」。

幻灯片截图

「大平行」:LLM 是预训练→SFT→推理 RL;机器人对应世界建模(预测下一个物理状态)→ 动作微调 → 物理 RL。
2:17 「大平行」:LLM 是预训练→SFT→推理 RL;机器人对应世界建模(预测下一个物理状态)→ 动作微调 → 物理 RL。
VLA(如 RT-2)的问题:视觉与动作不是一等公民。
3:41 VLA(如 RT-2)的问题:视觉与动作不是一等公民。
EgoScale:2.1 万小时第一人称人类数据(零机器人数据)预训练 + 50 小时动捕手套 + 4 小时遥操作(<0.1%),端到端控制 22 自由度灵巧手;人类验证损失随数据量呈扩展规律。
11:07 EgoScale:2.1 万小时第一人称人类数据(零机器人数据)预训练 + 50 小时动捕手套 + 4 小时遥操作(<0.1%),端到端控制 22 自由度灵巧手;人类验证损失随数据量呈扩展规律。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 2:17

    「大平行」:LLM 是预训练→SFT→推理 RL;机器人对应世界建模(预测下一个物理状态)→ 动作微调 → 物理 RL。

  2. 3:39

    VLA(如 RT-2)的问题:视觉与动作不是一等公民。

  3. 4:32

    视频模型(如 Veo 3)在规模上预测像素,自发学到重力、浮力、光照、反射、折射,甚至通过在像素中向前模拟来解迷宫。

  4. 6:49

    DreamZero 世界动作模型(WAM):视频预测对了动作就对;对未见任务(握手、解鞋带)像 GPT-2 一样把动作形状做对——「VLA 安息」。

  5. 9:05

    数据采集:Generalist 的可穿戴夹爪、Sunday 的数据手套;NVIDIA DexUMI 外骨骼与五指灵巧手一一映射,比遥操作更快、成功率更高。

  6. 11:26

    EgoScale:2.1 万小时第一人称人类数据(零机器人数据)预训练 + 50 小时动捕手套 + 4 小时遥操作(<0.1%),端到端控制 22 自由度灵巧手;人类验证损失随数据量呈扩展规律。

  7. 13:40

    「遥操作安息,传感化人类数据万岁」;机器人也需要像编码 RL 那样大规模扩展环境,真实机器人 RL 可把任务推到接近 100% 成功率。

  8. 15:55

    DreamDojo:纯数据驱动的世界模型,实时输出下一帧画面与传感器状态,没有物理方程和图形引擎;后训练 = 少量真实工作站 + 世界模拟 + 世界模型推理——「算力 = 环境 = 数据」。

  9. 17:52

    技术树:物理 API、黑灯工厂(输入 Markdown 设计、输出成品)、自动化湿实验室、物理自动研究;2012→2026 用了 14 年,再加 14 年到 2040。

可以用在日常工作里的

  • 机器人

    关注世界模型 + 第一人称人类数据这条路线:数据采集硬件(手套、外骨骼)可能比遥操作更具扩展性。

  • 机器人

    机器人 RL 的瓶颈是环境,世界模型可以充当可扩展的模拟环境。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录