AI Engineer World's Fair 2026

Robotics Has Been Stuck for 70 Years

Deepak Pathak · Skild AI / CMU

2026-09-24 · 28分钟 · 7.2 万次观看 · AI Engineer

机器人没有「动作数据的互联网」:好的机器人数据要同时满足可扩展、环境多样、贴近真实动作三点;Skild 的配方是仿真与人类视频预训练求广度、少量高质量遥操作后训练求精度、部署经验回流训练形成飞轮,并在不同机器人本体之间共享学习。

观看原视频 ↗

内容概要

开场的「看图搭积木」演示其实是几十年前的成就,说明机器人进展有多慢。大数据 + 大模型在 AI 其他领域有效,但机器人缺少动作数据:遥操作每个样本约需一分钟机器人与人的时间,加人手不能消除人力和硬件成本。四类数据各有缺陷:好奇心驱动的自主探索(无需人指导但仍受物理机器限制)、遥操作(贴近动作但环境多样性低)、仿真(易扩展但场景要人造)、人类视频(可扩展且多样,但离机器人的动作空间远)。配方:预训练用仿真和人类视频这类可扩展来源,接受它们与真实动作的偏差;后训练用少量高质量遥操作;部署经验再回流。演示:夹爪抓耳机时要选择能保持插入所需朝向的抓法——插入在夹爪合上之前就开始了;用第一人称人类视频加不到一小时机器人数据把行为迁移到人形机器人;端到端(相机输入直接驱动电机)的视觉引导爬楼梯,比后空翻更难,因为要把陌生的环境几何与动作联系起来。支持多种本体也有助于受损后恢复(腿失灵、轮子卡住的例子),但不是通用安全保证。启动飞轮最难的是部署本身:物理运营的问题超出智能与硬件,等完美的大脑会推迟收集改进所需的经验。

幻灯片截图

「看图搭积木」这样令人印象深刻的演示,其实是几十年前就做到的成就——机器人领域停滞已久。
0:16 「看图搭积木」这样令人印象深刻的演示,其实是几十年前就做到的成就——机器人领域停滞已久。
机器人没有动作数据的互联网:遥操作每个样本约需一分钟的机器人和人工时间,更多操作员也不能消除人力和硬件成本。
4:40 机器人没有动作数据的互联网:遥操作每个样本约需一分钟的机器人和人工时间,更多操作员也不能消除人力和硬件成本。
配方:仿真 + 人类视频预训练求广度,少量高质量遥操作后训练求精度,部署经验回流训练。
12:12 配方:仿真 + 人类视频预训练求广度,少量高质量遥操作后训练求精度,部署经验回流训练。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:12

    「看图搭积木」这样令人印象深刻的演示,其实是几十年前就做到的成就——机器人领域停滞已久。

  2. 5:40

    机器人没有动作数据的互联网:遥操作每个样本约需一分钟的机器人和人工时间,更多操作员也不能消除人力和硬件成本。

  3. 9:32

    四类数据:自主探索(无需人引导,但仍在物理机器上收集)、遥操作(贴近动作但环境单一)、仿真(易扩展但场景需人造)、人类视频(多样可扩展,但离机器人动作空间远)。

  4. 13:21

    配方:仿真 + 人类视频预训练求广度,少量高质量遥操作后训练求精度,部署经验回流训练。

  5. 14:54

    夹爪抓耳机:必须选择能保持插入所需朝向的抓法——「插入在夹爪合上之前就开始了」,硬件约束决定了所需的智能。

  6. 17:17

    第一人称人类视频 + 不到一小时的机器人数据即可把行为迁移到人形机器人;第三人称视频仍在研究中。

  7. 20:37

    端到端:相机观测输入大脑,输出直接驱动电机。视觉引导爬陌生楼梯比后空翻更难,因为要把环境几何和动作联系起来。

  8. 24:03

    飞轮最难的一步是部署:物理运营的问题超出智能和硬件,等完美的大脑会推迟收集经验;跨本体学习也帮助受损后(腿失灵、轮子卡住)恢复。

可以用在日常工作里的

  • 机器人

    评估机器人数据来源时看三点:可扩展性、环境多样性、与真实机器人动作的接近程度。

  • 机器人

    尽早部署以启动数据飞轮,而不是等待完美模型。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录