AI Engineer Europe 2026

How I deleted 95% of my agent skills and got better results

Nick Nisi · WorkOS

2026-05-30 · 18分钟 · 15 万次观看 · AI Engineer

强制而不是叮嘱、引导而不是淹没、度量而不是假设:用 TypeScript 状态机在五个 agent 之间设关卡并用哈希校验测试输出;把 1 万多行文档派生的 skill 砍到 553 行「产品坑点」,评测从 68 分钟降到 6 分钟;有一项任务带 skill 成功率 77%,不带反而 97%。

观看原视频 ↗

内容概要

Nick 横跨 20 多个仓库、8 种语言维护 WorkOS 的 SDK 和 AuthKit,agent 提高了实现能力,但一次盯一个 agent 带来持续的上下文切换。他做了内部 harness Case:输入 GitHub issue、PR、Slack 线程或工单,收集上下文,产出带证据的 PR。最初是一个 Claude skill,复杂度上来后丢上下文、跳步骤、不守流程;于是基于 pi 重建,用 TypeScript 状态机协调实现者、验证者、评审者、收尾者、复盘者五个 agent,阶段推进不靠 agent 自称完成,而要证据(测试输出用 SHA-256 哈希校验防止伪造、Playwright CLI 前后对比视频)。WorkOS CLI 安装 AuthKit 到 TanStack Start 时,改 start.ts 看起来人和模型都觉得合理,却违反了该文件导出内容的隐性约定——这类「坑点」才是 skill 该写的。他把从文档生成的 1 万多行 skills 删到 553 行观察到的产品和框架坑点;复盘 agent 扫描日志和 Claude/Codex 的 JSONL 记录,找冗余工具调用、重复无效动作,把经验写进分层的 Markdown 记忆。

幻灯片截图

Case harness:接收 GitHub issue、PR、Slack 线程或工单,收集上下文,产出带证据的 PR。最初是一个 Claude skill,复杂起来后丢上下文、跳任务、不可靠地遵守步骤。
2:36 Case harness:接收 GitHub issue、PR、Slack 线程或工单,收集上下文,产出带证据的 PR。最初是一个 Claude skill,复杂起来后丢上下文、跳任务、不可靠地遵守步骤。
把从文档生成的 1 万多行 skills 换成 553 行观察到的产品与框架坑点,评测运行从 68 分钟降到 6 分钟。
7:56 把从文档生成的 1 万多行 skills 换成 553 行观察到的产品与框架坑点,评测运行从 68 分钟降到 6 分钟。
证据要与任务相称:测试输出做哈希校验,防止 agent 编造测试结果;UI 改动用 Playwright CLI 录制前后对比视频附在 PR 上。
11:36 证据要与任务相称:测试输出做哈希校验,防止 agent 编造测试结果;UI 改动用 Playwright CLI 录制前后对比视频附在 PR 上。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:14

    维护 20+ 仓库、8 种语言(AuthKit Next.js/React、WorkOS Node/Kotlin/Ruby/PHP…),agent 让他能处理更多实现、自己做评审,但一次一个 agent 跨多仓库造成持续的上下文切换,每个任务还要重复准备(找 issue、拉上下文)。

  2. 2:19

    Case harness:接收 GitHub issue、PR、Slack 线程或工单,收集上下文,产出带证据的 PR。最初是一个 Claude skill,复杂起来后丢上下文、跳任务、不可靠地遵守步骤。

  3. 3:25

    基于 pi 重建,用 TypeScript 状态机协调五个 agent:实现者、验证者、评审者、收尾者、复盘者。实现、评审、收尾不能仅因 agent 声称完成就推进,必须通过显式关卡。

  4. 5:25

    WorkOS CLI 能识别项目、安装 AuthKit、预配可之后认领的账户。装进 TanStack Start 时暴露框架特有问题:对 start.ts 的修改人和模型都觉得合理,却违反了该文件必须导出什么的隐性约定。

  5. 7:27

    把从文档生成的 1 万多行 skills 换成 553 行观察到的产品与框架坑点,评测运行从 68 分钟降到 6 分钟。

  6. 9:28

    一定要跟「不带 skill」的基线比较:某项评测任务带 skill 成功率 77%,不带 skill 反而 97%。三条原则:强制而不是叮嘱、引导而不是淹没、度量而不是假设。

  7. 11:23

    证据要与任务相称:测试输出做哈希校验,防止 agent 编造测试结果;UI 改动用 Playwright CLI 录制前后对比视频附在 PR 上。

  8. 13:23

    复盘 agent 检查日志和 Claude/Codex 的会话 JSONL,寻找冗余工具请求、中间没有任何改变的重复动作、无效循环,把可复用的经验写进不同粒度(通用、框架级)的 Markdown 记忆文件;自动修剪记忆是未来计划。

可以用在日常工作里的

  • 上下文

    删掉从文档整段复制来的 skill,只保留在真实失败中观察到的「坑点」;并用无 skill 基线验证它确实有帮助。

  • Harness

    流程关键步骤用代码(状态机)强制,而不是在提示里请求 agent 遵守。

  • 质量

    要求可校验的证据:测试输出哈希、前后对比录屏,防止 agent 声称已测。

  • 工程

    加一个复盘 agent 定期分析会话记录,把重复失败变成 harness 改进或记忆条目。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录