AI Engineer

All Code Is Slop (Except Mine)

Lauren Tan (poteto) · SpaceXSI · Grok Bot 团队

2026-11-14 · 18分钟 · 81 万次观看 · AI Engineer

Grok Bot 的 Lauren Tan 个人 3–10 月合并 10,732 个 PR(从 3 月 68 个涨到 10 月 3,127 个),回滚率稳定在约 0.5%:每次纠正 agent,都把纠正变成代码里的确定性约束(API 设计、lint、目录约定),再叠加运行时和形式化验证,最后才写一点 prompt。

观看原视频 ↗

内容概要

Lauren Tan(前 Cursor、现 SpaceXSI Grok Bot)个人一个月往生产合并约 3,000 个 PR。她的核心是一座「信任倒金字塔」:最大一层是代码本身(好 API、架构、重构),其次是 lint、类型、测试这类确定性检查,然后是运行时与形式化验证,最顶上薄薄一层才是 rules、skills、AGENTS.md。代码库是 agent 最大的输入,任何变通写法都会被下一个 agent 当作既定模式复制,所以要像打理花园一样保持代码干净。验证做扎实以后,代码评审缩成「看验证产物」(视频、截图、状态图、证明),产品代码大多不再需要人深审。

幻灯片截图

她个人从 3 月到 10 月共合并 10,732 个 PR,从 3 月的 68 个涨到 10 月单月 3,127 个,回滚比例降到并稳定在约 0.5%。新的「元技能」是在产量暴涨的同时保持甚至提高质量;她用了六个月才把环境做到可以在睡觉时合并大量 PR。
0:35 她个人从 3 月到 10 月共合并 10,732 个 PR,从 3 月的 68 个涨到 10 月单月 3,127 个,回滚比例降到并稳定在约 0.5%。新的「元技能」是在产量暴涨的同时保持甚至提高质量;她用了六个月才把环境做到可以在睡觉时合并大量 PR。
形式化验证:用 TLA+ 对跨设备通知等主要用户流做模型检查,用 Lean 证明自研虚拟列表不会闪烁抖动;UI 用属性测试库 Bombadil。已经找到不少 bug,但只是又一层工具,不是银弹。
11:34 形式化验证:用 TLA+ 对跨设备通知等主要用户流做模型检查,用 Lean 证明自研虚拟列表不会闪烁抖动;UI 用属性测试库 Bombadil。已经找到不少 bug,但只是又一层工具,不是银弹。
要不要建软件工厂?先改善内循环。如果内循环产出 slop,自动化它只会产出更多 slop,还要烧更多 token。多数人卡在「agent 写 slop、人来验证」的低信任区。
15:48 要不要建软件工厂?先改善内循环。如果内循环产出 slop,自动化它只会产出更多 slop,还要烧更多 token。多数人卡在「agent 写 slop、人来验证」的低信任区。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:42

    她个人从 3 月到 10 月共合并 10,732 个 PR,从 3 月的 68 个涨到 10 月单月 3,127 个,回滚比例降到并稳定在约 0.5%。新的「元技能」是在产量暴涨的同时保持甚至提高质量;她用了六个月才把环境做到可以在睡觉时合并大量 PR。

  2. 2:20

    信任倒金字塔:代码与架构 → lint/类型/编译器/测试(确定性)→ 运行时与形式化验证 → 少量 rules/skills/AGENTS.md(需要判断的部分)。每次纠正 agent,先想能不能写成确定性检查,而不是往 AGENTS.md 加一行。

  3. 4:23

    代码是 agent 最大的输入:变通写法、反模式、废弃代码会被下一个 agent 当成既定模式复制,「每一份拷贝都让下一份更可能出现」。软件工程越来越像园艺:约束和护栏是新代码围绕生长的地基。

  4. 5:00

    自研客户端框架 Dune(相当于 Electron 版 Next.js)把经验写成约束:需要细腻判断才能用好的 API(如 React useEffect)直接在产品代码里禁用,只允许在框架内部使用,这类问题被整类消除。

  5. 6:10

    用目录结构传递上下文:electron/renderer 与 electron/main 两个顶层目录,互相 import 被依赖图分析器和 lint 禁止,避免 agent 把主线程代码引进渲染线程造成卡顿。

  6. 7:22

    Cursor 的教训:agent 爱用 setTimeout 等命令式定时器打补丁(根源是 VS Code 命令式风格与 React 声明式风格冲突),还写注释为补丁辩护,最后扩散出 183 个定时器拖垮性能。Grok Bot 因此禁掉 99% 的注释,改用带清晰报错信息、要求修根因的 lint 规则。

  7. 9:50

    运行时验证 skill:让 agent 自己跑代码、用 Chrome DevTools Protocol 调试;配一份「功能地图」(从用户视角列出应用所有功能)作为共享词汇,再配自定义 CLI,减少 token 并且可测试。

  8. 11:30

    形式化验证:用 TLA+ 对跨设备通知等主要用户流做模型检查,用 Lean 证明自研虚拟列表不会闪烁抖动;UI 用属性测试库 Bombadil。已经找到不少 bug,但只是又一层工具,不是银弹。

  9. 12:25

    引用 Cindy Sridharan:她现在 70% 的 token 花在验证上。列出的几十种测试手段都不新,只是以前太贵;agent 让「测试与验证的黄金时代」到来。她的 statechart skill 把状态机从用户视角画出来,便于和视频、截图一起审。

  10. 13:20

    结果:团队上月合并 11,000 个 PR,约每天一个稳定版,10 月有 227 人至少贡献一个 PR;相对回滚率稳定在约 0.5%,启动、输入、切换对话等性能反而都变快了。

  11. 15:33

    要不要建软件工厂?先改善内循环。如果内循环产出 slop,自动化它只会产出更多 slop,还要烧更多 token。多数人卡在「agent 写 slop、人来验证」的低信任区。

  12. 16:19

    外循环例子:每次发版,Grok Bot 自动开一个 Cursor 项目对整个构建做模糊测试,像真实用户一样使用应用找 bug,为每个 bug 开修复 PR 并自动合并。

可以用在日常工作里的

  • 工程

    建立「纠正 → 规则」的习惯:同一类问题第二次出现时,写成 lint 规则(报错信息直接告诉 agent 根因和正确做法),再批量清理存量。

  • 工程

    审视代码库里的「坏榜样」:废弃 API、变通写法、过时注释都会被复制,优先清理高频被模仿的区域。

  • 编码 Agent

    限制注释和随手写的 markdown:它们不可强制、容易过时,还给 agent 留了不做正确事情的借口。

  • 质量

    给 agent 一套运行时验证工具:能启动应用、操作 UI、截图录屏的 skill + CLI,再加一份功能地图作为人和 agent 的共同语言。

  • 团队

    评审转向验证产物:要求 PR 附视频、截图、状态图或证明,而不是逐行读 diff;低风险类别逐步放开自动合并。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录