AI Engineer World's Fair 2026

How Codex Works(Codex, Behind the Harness)

Dominik Kundel · OpenAI

2026-08-10 · 21分钟 · 7.2 万次观看 · AI Engineer

沿着一条消息走一遍开源的 Codex harness:上下文构建(延迟加载工具以保持小而可缓存)、子 agent 与后台终端的生命周期、持久 Node REPL 的浏览器操作、按训练习惯设计的文件工具和分平台沙箱、Auto Review 审批、WebSocket 增量传输、/goal 循环和服务端压缩。

观看原视频 ↗

内容概要

Codex harness 用 Rust 写成、Apache-2.0 开源,分两套协议:App-server(界面 ↔ harness)和 Responses API(harness ↔ 模型)。上下文构建有三个要求:小(多余内容会带来矛盾)、灵活(装更多 skills/插件/MCP 也不臃肿)、可缓存;技能列表和工具注册表会随安装增长,所以采用延迟加载工具(tool search)。spawn_agent/send_input 让子 agent 成为持续交互,后台终端同理。浏览器操作从「一次一个动作」变成在持久 Node REPL 里写 Playwright 式 JS,变量跨轮保留,理解一页结构后可脚本化处理后续页面。文件编辑用模型训练过的 apply_patch,搜索用 shell(自动提供 ripgrep),Windows 直接用 PowerShell;沙箱在 macOS 用 Seatbelt、Linux 用 Bubblewrap、Windows 用自研开源沙箱。Auto Review 减少合法操作的打断、筛掉数据外泄等危险行为(降低风险,不是确定性保证)。

幻灯片截图

Codex harness 开源(Rust,Apache-2.0),可以研究、基于它构建或 fork。两套协议:App-server 处理界面与 harness 的通信(Codex app 本身就用它),Responses API 处理 harness 与模型推理的通信。
1:16 Codex harness 开源(Rust,Apache-2.0),可以研究、基于它构建或 fork。两套协议:App-server 处理界面与 harness 的通信(Codex app 本身就用它),Responses API 处理 harness 与模型推理的通信。
构建上下文的三条要求:大小(多余内容浪费 token、增加矛盾)、灵活性(装更多 skills/插件/MCP 不应让 agent 失控)、可缓存性(降低延迟和成本)。模型指令稳定,但技能列表和工具注册表随安装增长,尤其是 MCP 工具,所以要有明确策略,第一条就是延迟加载工具。
5:24 构建上下文的三条要求:大小(多余内容浪费 token、增加矛盾)、灵活性(装更多 skills/插件/MCP 不应让 agent 失控)、可缓存性(降低延迟和成本)。模型指令稳定,但技能列表和工具注册表随安装增长,尤其是 MCP 工具,所以要有明确策略,第一条就是延迟加载工具。
推理够快时网络成了瓶颈:GPT-5.3-Codex-Spark 在 Cerebras 上达到每秒 1000 token。Responses WebSocket 模式保持长连接,并支持有状态上下文:工具调用后只发新的工具结果,而不是重发整段对话。
15:20 推理够快时网络成了瓶颈:GPT-5.3-Codex-Spark 在 Cerebras 上达到每秒 1000 token。Responses WebSocket 模式保持长连接,并支持有状态上下文:工具调用后只发新的工具结果,而不是重发整段对话。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:30

    Codex harness 开源(Rust,Apache-2.0),可以研究、基于它构建或 fork。两套协议:App-server 处理界面与 harness 的通信(Codex app 本身就用它),Responses API 处理 harness 与模型推理的通信。

  2. 4:18

    构建上下文的三条要求:大小(多余内容浪费 token、增加矛盾)、灵活性(装更多 skills/插件/MCP 不应让 agent 失控)、可缓存性(降低延迟和成本)。模型指令稳定,但技能列表和工具注册表随安装增长,尤其是 MCP 工具,所以要有明确策略,第一条就是延迟加载工具。

  3. 7:01

    异步工作:spawn_agent 创建子 agent、send_input 继续输入,父 agent 可等待或关闭它;子 agent 是持续的交互而不是一次函数调用。后台终端同样:启动进程、通过 stdin 输入、需要时等待。harness 既要管理调用,也要管理工作的生命周期。

  4. 8:12

    浏览器操作从「每次一个动作」变为让 agent 在持久的 Node REPL 里写 Playwright 式 JavaScript:浏览器和标签页引用跨轮保留;agent 弄清一页的结构后,可以写脚本把同样的提取应用到后续页面。

  5. 10:08

    工具设计跟随模型的训练:从 GPT-5 起模型被训练用 apply_patch(以 diff 形式)编辑和创建文件;搜索导航走 shell,模型爱用 ripgrep,没装就由 harness 提供;Windows 上直接用 PowerShell。沙箱:macOS Seatbelt、Linux Bubblewrap、Windows 自研开源沙箱。

  6. 11:59

    审批疲劳:长任务频繁打断会把用户推向「完全访问」模式。例子:让 agent 发邮件附件失败,它可能改为把文件上传到共享服务——完成了任务,却改变了数据去向;转义错误也可能删掉比预期更多的数据。Auto Review 降低合法操作的打断,同时筛掉数据外泄等危险行为,但它是降低风险的机制,不是确定性安全保证。

  7. 15:32

    推理够快时网络成了瓶颈:GPT-5.3-Codex-Spark 在 Cerebras 上达到每秒 1000 token。Responses WebSocket 模式保持长连接,并支持有状态上下文:工具调用后只发新的工具结果,而不是重发整段对话。

  8. 17:25

    /goal 循环:在目标达成前,harness 不断注入包含目标的「继续」提示;模型调用 update_goal 报告完成时循环停止。所以目标要具体、可验证(例如「猜中数字」),而不是一篇泛泛的指令。

  9. 19:01

    去年底起 Codex 使用服务端自动压缩:一个经过训练的操作,用加密的压缩项替换之前的上下文以携带关键状态。两条采用路径:把开源 app-server 与 harness 当蓝图或产品底座;或在自研 harness 中使用 Responses 的 tool search、apply_patch、WebSocket、服务端压缩。

可以用在日常工作里的

  • Harness

    自研 harness 时把上下文分成「稳定部分」和「随安装增长部分」,后者(工具、技能列表)用延迟加载/工具搜索控制体积并保持缓存命中。

  • Agent

    浏览器自动化让 agent 在持久 REPL 里写脚本,而不是每步调用一个点击工具;同样思路适用于数据处理。

  • 安全

    沙箱 + 自动审批组合:OS 级沙箱限制文件和网络,越界操作交给审查模型并留痕;警惕「为了完成任务换一条路」造成的数据去向改变。

  • 编码 Agent

    用 /goal 时写一个可验证的完成条件(测试全过、某指标达到),而不是长篇愿望清单。

  • 工程

    工具接口尽量贴合模型的训练习惯(apply_patch、ripgrep、平台原生 shell),比自创接口更可靠。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录