AI Engineer World's Fair 2026

Loop Engineering from First Principles

Kyle Mistele · HumanLayer

2026-07-25 · 18分钟 · 3.6 万次观看 · AI Engineer

用控制论设计编码循环:设定点(代码库应满足的属性)、传感器(ast-grep 等确定性规则找出偏差)、控制器(确定性地挑最小的一处)、执行器(CLI agent + 手写「黄金范例」skill),每天在现有 CI 里产出一个小 PR;/iterate 评论回写反馈文件,开放 PR 堆积时自动背压停产。

观看原视频 ↗

内容概要

Kyle 以一个反例开场:六个评审 agent 围着一个 4 万行、没人想读的 PR。Geoff Huntley 的 Ralph 循环适合个人和非关键系统,但循环应当让代码更易读,而不是生成更多要人审的东西。他借用控制论:系统是代码库,传感器测当前状态,设定点是期望状态,差值是误差,控制器把误差变成增量修正,执行器施加修正,同时其他改动在扰动系统,再测量闭环。适合的工作负载要满足:偏差可测、修正可增量、能得到修正质量的反馈(对照别人的 OpenAPI 规范、跟进 MCP 规范版本、Python/TypeScript 双版本同步、跟上游保持一致的 fork)。HumanLayer 的例子是把 RPC API 渐进迁移到 Effect:ast-grep 规则找未迁移的过程(规则放在 agent 不会用行内注释压掉的位置),控制器用 bash + jq 或结构分析挑最小的一处(确定性的决定留在确定性代码里),执行器是 CLI agent + skill + 手写黄金范例;用 GitHub Actions 定时跑一轮,每天早上留一个小 PR 待审。

幻灯片截图

先定义代码库应满足的属性,再选择检测偏差的方式:确定性(ESLint、ast-grep、Packwerk)、agent 式(agent + skill + 自然语言规则)或混合。单纯反复跑一条 bash 命令不能保证渐进式进展,纪律要来自感知和挑选策略。
6:28 先定义代码库应满足的属性,再选择检测偏差的方式:确定性(ESLint、ast-grep、Packwerk)、agent 式(agent + skill + 自然语言规则)或混合。单纯反复跑一条 bash 命令不能保证渐进式进展,纪律要来自感知和挑选策略。
适合的维护负载需要三个属性:可测的偏差、可增量的修正、对修正质量的反馈。例如对照第三方 OpenAPI 规范、跟进 MCP 规范版本、保持 Python/TypeScript 双实现同步、让基于 Vite 的 Next.js fork 跟上上游。
7:36 适合的维护负载需要三个属性:可测的偏差、可增量的修正、对修正质量的反馈。例如对照第三方 OpenAPI 规范、跟进 MCP 规范版本、保持 Python/TypeScript 双实现同步、让基于 Vite 的 Next.js fork 跟上上游。
控制器:最简单用 bash + jq 选排序后的第一个违规,更好的用结构分析挑最小的未迁移过程以限制改动范围;也可以按遥测选错误最多的。建议确定性的决定留在确定性代码里,而不是交给 agent。
10:48 控制器:最简单用 bash + jq 选排序后的第一个违规,更好的用结构分析挑最小的未迁移过程以限制改动范围;也可以按遥测选错误最多的。建议确定性的决定留在确定性代码里,而不是交给 agent。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:27

    反例:6 个评审 agent 围着一个 4 万行的 PR,更多自动审查并不能让团队理解这个改动。Ralph 循环适合个人工作和非关键系统。

  2. 1:55

    循环热潮的起点:不再自己反复提示 agent,而是设计一个循环来提示它(Ralph、Peter Steinberger 的 OpenClaw 循环负责构建、评审、合并、发布,甚至找循环本身的 bug;Boris 说他的工程工作就是写循环)。但代码量会因此成为问题,循环应当让代码更容易读。

  3. 4:33

    控制论框架:系统 = 代码库;传感器测当前状态;设定点 = 期望状态;差值 = 测得的误差;控制器把误差转成增量修正;执行器施加修正;同时其他改动持续扰动系统;再测量,闭环。

  4. 6:59

    先定义代码库应满足的属性,再选择检测偏差的方式:确定性(ESLint、ast-grep、Packwerk)、agent 式(agent + skill + 自然语言规则)或混合。单纯反复跑一条 bash 命令不能保证渐进式进展,纪律要来自感知和挑选策略。

  5. 8:29

    适合的维护负载需要三个属性:可测的偏差、可增量的修正、对修正质量的反馈。例如对照第三方 OpenAPI 规范、跟进 MCP 规范版本、保持 Python/TypeScript 双实现同步、让基于 Vite 的 Next.js fork 跟上上游。

  6. 9:40

    HumanLayer 把 RPC API 渐进迁移到 Effect:用 ast-grep 做结构匹配找未迁移的过程,规则放在常规 TS/ESLint 配置之外,避免 agent 用行内注释压掉检查;也能用规则禁止新增旧模式。

  7. 11:21

    控制器:最简单用 bash + jq 选排序后的第一个违规,更好的用结构分析挑最小的未迁移过程以限制改动范围;也可以按遥测选错误最多的。建议确定性的决定留在确定性代码里,而不是交给 agent。

  8. 12:26

    执行器 = CLI 编码 agent + skill。skill 要根据观察到的结果迭代,而不是第一次就追求完美;手写「黄金范例」展示这个仓库期望的改法,否则 agent 会回退到文档和别处学来的模式。

  9. 13:22

    直接用现有 CI(GitHub Actions、GitLab、CircleCI):它已有仓库访问、密钥、触发和定时。一个工作流跑一轮感知-控制-执行、开 PR、每天定时运行,结果是每天早上有一个小改动等审。初版因纠正太麻烦(要拉分支、改、推)被关掉过。

  10. 14:13

    把评审意见变成持久的引导:仓库里放一个 Markdown 反馈文件,每轮在控制器选定工作后确定性地加载进执行器上下文;每个生成的 PR 打上循环标识标签。评审者留 /iterate 评论,对应工作流读取 PR diff 和评论,修改 PR 并把可泛化的反馈写回文件。

  11. 15:10

    背压:出差、见客户时 PR 堆积、重复、冲突,维护变成新的待办。在检出代码、装依赖、调 agent 之前,先查询带本循环标签的开放 PR,超过阈值就本轮不产出。

可以用在日常工作里的

  • 工程

    挑一个可度量的维护目标(迁移、规范对齐、禁用旧模式),用 ast-grep/lint 规则当传感器,每天让 agent 修一处最小的违规。

  • 工程

    确定性的部分(找违规、挑目标、限额)写成代码,只把「怎么改」交给 agent,并给它仓库内的黄金范例。

  • 团队

    给循环加背压:未审 PR 达到上限就暂停;用 /iterate 评论和反馈文件让人的纠正持续生效。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录