AI Engineer Europe 2026

Harness Engineering: How to Build Software When Humans Steer, Agents Execute

Ryan Lopopolo · OpenAI

2026-04-17 · 46分钟 · 26 万次观看 · AI Engineer

稀缺资源从「写实现」变成人的时间、人与模型的注意力和上下文窗口:把隐性的质量标准写成文档、lint、结构测试和按角色划分的评审 agent,并在工作流中「及时」送达上下文;仓库结构本身就是提示。

观看原视频 ↗

内容概要

OpenAI 的 Ryan Lopopolo 讲他团队在大规模用 Codex 时形成的「harness engineering」。agent 能写、重构、维护、删除代码后,瓶颈是人的时间、注意力和上下文窗口;以前排不上的低优先级改进(如内部工具的本地化)可以委托多个候选实现再挑一个。质量标准如果只是隐性知识,agent 就无法复现,所以要把文档、ADR、历史工单和评审经验写成机器可读的护栏:CI 里的安全与可靠性评审 agent、要求网络调用带重试和超时的仓库专属 lint、限制文件长度以适配上下文的结构测试,报错信息直接写明期望的模式和修复方法。harness 的核心是「及时上下文」:先让 agent 自由探索原型,再由 lint 和测试在后面要求组件拆分、依赖规范。仓库从单应用演进成 750 个包的 PNPM workspace,按业务域和技术层划分,让大多数改动在一个子树内可理解。

幻灯片截图

当 agent 能生产、重构、维护和删除代码,手写实现不再是主要约束;约束变成人的时间、人和模型的注意力、上下文窗口(以及算力与 token 预算)。工程的问题变成如何部署模型产能。
1:48 当 agent 能生产、重构、维护和删除代码,手写实现不再是主要约束;约束变成人的时间、人和模型的注意力、上下文窗口(以及算力与 token 预算)。工程的问题变成如何部署模型产能。
agent 无法复现只存在于人脑中的标准。把文档、架构决策记录(ADR)、历史工单、代码评审、「成功工作的人设描述」变成对 agent 可读的上下文,尤其是那些大量未明说的非功能性决策。
7:12 agent 无法复现只存在于人脑中的标准。把文档、架构决策记录(ADR)、历史工单、代码评审、「成功工作的人设描述」变成对 agent 可读的上下文,尤其是那些大量未明说的非功能性决策。
护栏要持久:CI 里的安全/可靠性评审 agent;仓库专属 lint(网络调用必须有重试和超时);源码级结构测试(强制架构属性、限制文件长度以适配上下文)。报错信息写清期望模式和修复方法,人和 agent 都知道下一步怎么做。
11:04 护栏要持久:CI 里的安全/可靠性评审 agent;仓库专属 lint(网络调用必须有重试和超时);源码级结构测试(强制架构属性、限制文件长度以适配上下文)。报错信息写清期望模式和修复方法,人和 agent 都知道下一步怎么做。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 1:54

    当 agent 能生产、重构、维护和删除代码,手写实现不再是主要约束;约束变成人的时间、人和模型的注意力、上下文窗口(以及算力与 token 预算)。工程的问题变成如何部署模型产能。

  2. 4:30

    以前永远排不上的改进(如内部工具的国际化)现在可以委托多个候选实现,挑一个解决问题的。

  3. 6:56

    agent 无法复现只存在于人脑中的标准。把文档、架构决策记录(ADR)、历史工单、代码评审、「成功工作的人设描述」变成对 agent 可读的上下文,尤其是那些大量未明说的非功能性决策。

  4. 11:21

    护栏要持久:CI 里的安全/可靠性评审 agent;仓库专属 lint(网络调用必须有重试和超时);源码级结构测试(强制架构属性、限制文件长度以适配上下文)。报错信息写清期望模式和修复方法,人和 agent 都知道下一步怎么做。

  5. 14:45

    harness 的本质是「及时上下文送达」:把所有规则塞进初始提示会压垮 agent,长会话和自动压缩也会把早期指令挤出上下文;评审意见、lint 失败、测试结果和 skills 能在执行过程中适时刷新相关要求。

  6. 24:04

    React 例子:先让 agent 不受结构约束地探索和做原型,之后由 lint/测试要求它把组件拆小、去状态、遵循依赖规范,agent 再按新暴露的约束修改补丁——保留探索空间又守住标准。

  7. 21:26

    仓库结构就是提示:从简单应用仓库演进到按业务域和技术层组织的 750 个包的 PNPM workspace;包的私有性和依赖边由规则强制,大多数改动在一个子树内即可理解。自定义 ESLint 和结构检查强制使用共享工具、去重 Zod schema、规范实现常用 helper。

  8. 34:00

    标准化重复选择(有界并发 helper、带埋点的命令、ORM、语言、CI 脚本、新增 lint 的机制),减少 agent 在每个角落要重新获取的上下文;统一模式让大规模迁移变得值得。

  9. 30:28

    起步建议:先让 agent 给现有行为写测试,提升信心也让代码库更易安全导航;再看人的时间到底花在哪(手写、慢 CI、flaky 测试、等评审),逐个自动化。

  10. 38:06

    闭环:PR 上的人工反馈说明 agent 缺了上下文 → 写进仓库文档 → 通过失败测试或按文档评审的 agent 自动「注入」给下一个 agent。团队把评审意见按人设归类(前端架构师、可靠性工程师、可扩展性……),每类一个评审 agent,每次 push 触发,只报会阻塞合并的 P2 及以上问题;文档不断追加,slop 持续减少。

  11. 40:01

    他的 token 大约三等分:规划/工单/文档、实现、CI。很少用 plan mode:未读就批准的计划会把坏指令编码进去;如果要用计划,单独提一个只含计划的 PR,人逐行审过再开工。

  12. 43:35

    把 agent 扩展到写代码之外(QA、运维、支持、生产防护),需要提供对应的工具、流程文档和验收标准。

可以用在日常工作里的

  • 工程

    把团队的隐性标准(重试/超时、文件长度、依赖方向、共享工具)写成 lint 和结构测试,报错文案直接告诉 agent 怎么改。

  • 质量

    按「人设」建评审 agent(前端架构、可靠性、可扩展性、安全),每次 push 触发,只报阻塞级问题,并把新的评审意见持续追加进对应文档。

  • 上下文

    不要把所有规则放进初始提示;让 lint、测试、评审在执行中按需送达要求。

  • 工程

    用 monorepo 包边界给 agent 划定「可理解的子树」,并强制包的私有性和依赖方向。

  • 团队

    计划如果真的要约束执行,就作为独立 PR 由人逐行审;否则把工单写清楚直接交给 agent。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录