AI Engineer World's Fair 2026

From fork() to Fleet: Designing an Agent Sandbox Cloud

Abhishek Bhardwaj · OpenAI(RL 与 agent 基础设施)

2026-07-13 · 45分钟 · 8.8 万次观看 · AI Engineer

从第一性原理设计 agent 沙箱云:进程 → 容器(namespaces+cgroups,共享内核)→ gVisor(用户态应用内核)→ microVM(独立内核,cloud-hypervisor/crosvm 用 Rust、设备极少)→ 写时复制的增量快照与分层块存储 → 按负载与「离 harness 和存档近」调度到全球集群。

观看原视频 ↗

内容概要

Bhardwaj 先讲为什么需要执行环境:会写代码解题的模型,推理时也需要 harness 解析工具调用、执行并返回观察,产品就必须提供一台「电脑」。fork/exec 的进程只有权限隔离;容器用 namespaces 隔离资源视图、cgroups 限制资源,但共享宿主内核,内核漏洞就能逃逸;gVisor 用 Go 写的 Sentry 在用户态实现大部分 Linux API、Gofer 处理文件访问;microVM 借硬件虚拟化给来宾独立内核(VMX non-root),即便来宾 root 甚至内核被攻破也被限制在内。QEMU 设备多、C 实现历史上是 VM 逃逸的目标,他在 Google 参与的 crosvm 和 cloud-hypervisor 用 Rust 且设备集合小,再加设备 jail 和 seccomp。控制路径:启动 cloud-hypervisor 进程 → Unix socket API → 配置 rootfs、内核、CPU、内存 → 启动。代价:来宾/宿主切换开销、内存共享(balloon)、启动时间。之后是持久化:可恢复的磁盘才像一台不会丢工作的笔记本;ChatGPT/Codex 级别不能反复上传整盘,用 reflink XFS 写时复制做增量快照,保存要便宜到 harness 能常规调用、恢复要快到能当作正常启动;持续持久化用分层块存储,保留 POSIX 语义(他对 NFS 语义有顾虑)。最后组成机群:节点成集群、集群分区域,控制面按区域负载和离 harness/存档的距离选集群。开源项目 Arrakis 是他的自托管沙箱实现。

幻灯片截图

更强隔离的运维成本:来宾/宿主切换开销、内存共享(balloon)、启动延迟;VM 逃逸仍有可能(KVM 或设备处理漏洞)。
27:12 更强隔离的运维成本:来宾/宿主切换开销、内存共享(balloon)、启动延迟;VM 逃逸仍有可能(KVM 或设备处理漏洞)。
持久化不是保存内存而是保存磁盘:ChatGPT/Codex 规模下反复上传整盘太慢太贵,要增量快照——保存便宜到 harness 能常规调用,恢复快到可当正常启动。
34:56 持久化不是保存内存而是保存磁盘:ChatGPT/Codex 规模下反复上传整盘太慢太贵,要增量快照——保存便宜到 harness 能常规调用,恢复快到可当正常启动。
机群调度:节点组成集群、集群分布到区域,顶层控制面按区域负载与离 ChatGPT 服务/harness 及其存档的距离选择集群。
42:24 机群调度:节点组成集群、集群分布到区域,顶层控制面按区域负载与离 ChatGPT 服务/harness 及其存档的距离选择集群。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 3:51

    推理时虽然没有权重更新,harness 仍要解析工具请求、执行、返回观察;模型被训练成「用代码解题」,产品就必须提供执行环境(笔记本、容器或云端 VM)。

  2. 12:02

    容器 = namespaces(隔离 PID、挂载等资源视图)+ cgroups(限制资源消耗),但所有容器共享宿主内核——拿到 root 并利用内核漏洞即可逃逸。

  3. 16:27

    gVisor 在中间插一层「应用内核」:Go 写的 Sentry 在用户态实现进程管理等 Linux API,Gofer 负责文件访问,工作负载的系统调用不再直接到达宿主内核。

  4. 18:29

    microVM 用硬件虚拟化给来宾独立内核:来宾 ring 0 只控制来宾内部(VMX non-root),宿主与 hypervisor 在 VMX root,来宾拿到 root 或内核被攻破仍被限制。

  5. 23:13

    缩小监视器的攻击面:QEMU 支持大量架构和设备,C 实现的设备历来是 VM 逃逸入口;crosvm / cloud-hypervisor 设备集小、Rust 实现内存安全,再加设备 jail 与 seccomp 策略。

  6. 27:12

    更强隔离的运维成本:来宾/宿主切换开销、内存共享(balloon)、启动延迟;VM 逃逸仍有可能(KVM 或设备处理漏洞)。

  7. 33:41

    持久化不是保存内存而是保存磁盘:ChatGPT/Codex 规模下反复上传整盘太慢太贵,要增量快照——保存便宜到 harness 能常规调用,恢复快到可当正常启动。

  8. 38:41

    用支持 reflink 的 XFS 做写时复制:可写副本一开始共享数据块,只为新写入分配存储;持续持久化放到分层块存储后,保持来宾熟悉的 POSIX 文件系统语义。

  9. 41:21

    机群调度:节点组成集群、集群分布到区域,顶层控制面按区域负载与离 ChatGPT 服务/harness 及其存档的距离选择集群。

可以用在日常工作里的

  • 基础设施

    按威胁模型选隔离级别:自己的代码可用容器;运行不可信、模型生成的代码优先 gVisor 或 microVM(Firecracker/cloud-hypervisor)。

  • 基础设施

    把「快照/恢复」设计成 agent 的日常操作(回溯、分支尝试),而不是灾备功能;写时复制文件系统让它变便宜。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录