AI Engineer NYC 2026(工作坊)
Teach Your Agent to Prove It's Done
Nick Nisi、Zack Proser · WorkOS
「状态来自记录,而不是模型的话」:给 agent 一个应用专属 CLI(doctor、join、storage……)让它像开发者一样观察和操作系统,把行为变成可重复的检查并留存证据;还要测试「测试者」本身(隐藏 bug 的侦探游戏)。
内容概要
示例应用 Midnight Snack Club 的候补名单:提交后页面显示邮箱、提示成功,但刷新就消失——根本没持久化。只检查提交后立即出现条目的测试会通过。Proser 主张把工作拆成有明确完成标准的小任务;Nisi 要有形的证据(测试结果、冒烟测试、截图、录屏),并提出「状态来自记录,而不是模型的话」。人调试时会刷新页面、看存储、看 API 状态码和网络面板、读控制台、点界面;agent 也需要这些观察能力,笼统的「在浏览器里验证一下」会让它跳过刷新和持久化检查。于是做了应用专属 CLI(pnpm snack):doctor 检查 Node、Chromium、浏览器会话、应用和构建是否就绪,join 提交条目,storage 查看存储——此时 agent 发现存储为空,才知道自己没完成。对难以直接观察的行为(例如画布游戏里球的位置)打印成可分析的数据。文案可能过度承诺(「你已入选,座位已确认」 vs 只是加入候补),用 LLM 评委做语义判断但要知道其局限。「破坏者与侦探」练习让验证本身成为任务。证据要跨运行保留;必须执行的检查放到 CI 里强制,本地 hooks 和 AGENTS.md 提供快速反馈。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 3:17
Midnight Snack Club 的候补名单看似注册成功(页面显示邮箱、提示成功),刷新后条目消失——界面变了但邮箱从没保存。只检查提交后立即显示的测试会通过。
- 10:26
Proser:把工作拆成有清晰完成标准的小任务。Nisi:要有形的证据(测试结果、冒烟测试、截图、录屏),「状态来自记录,而不是模型的话」;优雅的 diff 不能证明行为正确。
- 16:36
人调试时会刷新、查存储、看 API 状态码和网络面板、读控制台、操作 UI,agent 也需要这些观察。笼统的「在浏览器里验证」会让它跳过刷新或持久化检查,所以做了应用专属 CLI:pnpm snack。
- 28:04
有些行为模型难以直接观察:例如画布游戏里球从缝隙逃出,每次迭代打印球的坐标,位置跳变就能被分析出来。把行为变成可重复的反馈。
- 35:48
snack doctor 检查环境(Node、Chromium、浏览器会话、应用运行与构建);snack join ada@example.test 提交条目;snack storage 显示存储为空——这一刻 agent 知道自己还没完成。
- 39:12
精确断言与语义判断:检查期望「已加入候补」,界面却写「你已入选,座位已确认」,文案过度承诺。用评委判断语义,但这个演示并不证明评委可靠。
- 41:41
测试测试者:snack up --bug random 随机注入隐藏 bug,「侦探」用 snack 找出 bug 并给证据,而不只是说出一个看似合理的猜测;现场还暴露了过期收据误导判断的问题。
- 49:30
跨运行保留证据:登录要看 cookie 和过期时间是否正确;电商要记录能否看到目录、加入购物车、错误和耗时;汇总收据可以发现反复出现的问题。
- 53:43
检查怎么跑:必须执行的检查放到 CI 强制(模型可能不遵循 skill);本地 hooks 和 AGENTS.md 指令(重要改动后或开 PR 前运行验证)提供快速反馈;再加上生产监控。
可以用在日常工作里的
- 质量
为你的应用写一个给 agent 用的验证 CLI:环境自检、关键操作、读取真实状态(数据库/存储/日志),让 agent 能自己证明完成。
- 质量
完成标准写成可检查的结果(例如「刷新后条目仍在」),而不是「功能已实现」。
- 评测
定期用注入 bug 的方式检验你的验证体系本身是否靠谱。