Claude 频道访谈(Boris Cherny 主持)
How Spotify runs agents across 20M+ lines of code
Niklas Gustavsson(对谈 Boris Cherny) · Spotify(首席架构师、工程副总裁)
Spotify 2900 名工程师、2000 多万行代码:从确定性脚本的大规模迁移到基于 Claude Agent SDK 的 Honk 后台编码 agent;LLM 评委曾把 PR 成功率从 20–30% 提到 80%,模型变强后已移除评委;「验证是最重要的事」——因为要自动合并多数改动,先投资测试自动化;每天 4500 次生产部署、AI 带来的 PR 频率提升 75% 以上;给 CTO 的建议:为 agent 做标准化。
内容概要
Gustavsson 说去年 9 月 Boris 告诉他年底没人会用 IDE,他觉得两年都夸张,结果两个月后自己就不用 IDE 了——30 年职业里没见过的变化。他的设置:tmux 里 5–10 个终端标签,后台跑多个 agent,配对的终端看 diff,一组 worktree;公司有几个大型 monorepo,仍有数千个小型 polyrepo。Honk 的由来:成百个团队在数千个组件上手动做同样的迁移,每次迁移要几个月,一年也许只能做 10 次,勉强跟上框架支持版本;于是用确定性脚本自动化,已经合并了数百万个这类 PR,但代码有长尾,脚本覆盖不了。Honk 是基于 Claude Agent SDK 的编码 agent 加验证步骤:最初的 LLM 评委把 PR 成功率从约 20–30% 提高到 80%,后来 Opus 4.5 一代模型和 harness 足够好,评委被移除。验证是最重要的事:过去团队可以对测试自动化马虎,因为总能自己检查每个 PR;但自动化改动意味着团队不再在环里、多数改动自动合并,就必须先建好更好的测试自动化,现在同样的验证可以直接用于 agent。速度与质量是伪二分。每天约 4500 次生产部署。ROI:AI 工具带来 75% 以上的 PR 频率提升。给 CTO:投资基础能力(测试自动化、验证)和标准化——一致的代码库、工具和框架原本是为了让人更高效,对 agent 同样有效;如果同一件事有 10 种写法,Claude 会更困惑。给工程师:实现时间被 Claude 在后台接管后,空出来的时间用于思考下一步、和客户交流、做更多原型;Spotify 大力投资原型能力(面向工程师和非工程人员),员工描述想法后一两个小时就能有可用原型,并有内部应用商店。
要点(点击时间跳到原视频)
- 0:00
去年 9 月 Boris 说年底没人用 IDE,他以为至少要两年,结果两个月后自己就不用 IDE 了——30 年职业生涯里没见过的变化。
- 3:19
工作方式:tmux 里 5–10 个终端标签、后台多个 agent、配对终端看 diff、一组 worktree;几个大型 monorepo 加数千个小 polyrepo。
- 4:59
Honk 的由来:数百个团队在数千个组件上手动做同样的迁移,每次几个月、一年约 10 次;先用确定性脚本自动化,合并了数百万个 PR,但代码有长尾。
- 9:49
Honk = Claude Agent SDK 编码 agent + CI 验证;早期 LLM 评委把 PR 成功率从约 20–30% 提到 80%,后来模型和 harness 足够好,评委被移除。
- 12:01
验证是最重要的事:自动化改动意味着团队不在环里、多数改动自动合并,必须先建好测试自动化——现在同样的验证直接用于 agent。
- 15:06
每天约 4500 次生产部署;速度与质量是伪二分。
- 16:38
ROI 信号明确:2900 名工程师,AI 工具带来 75% 以上的 PR 频率提升。
- 19:20
给 CTO:投资测试自动化、验证与标准化;同一件事有 10 种写法,Claude 会更困惑——一致性对人有效,对 agent 同样有效。
- 22:58
实现时间被后台 agent 接管后,空出的时间用于思考下一步、和客户交流、做原型;员工描述想法一两小时就有可用原型,并有内部应用商店。
可以用在日常工作里的
- CI/CD
想让 agent 的改动自动合并,先把测试自动化补齐到「团队不看也敢合」的程度。
- 工程
大规模迁移先用确定性脚本,长尾交给 agent;LLM 评委可在早期显著提高成功率。
- 团队
推动代码库、框架、工具的标准化,它直接提高 agent 的成功率。