Latent Space 播客(swyx、Vibhu 主持,节选阅读)
Claude Code's Bitter Lesson: Prompts, Harnesses, Mods, and Agents
Thariq Shihipar · Anthropic(Claude Code 团队)
Claude Code 团队的 Thariq 谈 harness 的「苦涩教训」:harness 过时得很快且变化方式反直觉;CLAUDE.md 最终可能消失(新项目甚至可以先不写,只在反复失败时加),而且它随模型变化;前期花 30 分钟写好长提示比事后反复返工更省额度;「足够高级的提示与足够高级的高管沟通无法区分」(SCQA);Ask User Question、HTML 产物、Claude Tag 频道按功能划分;Claude Mods 让你定制整个 harness 的执行与界面——可变软件的预览。
本场为长访谈,按章节节选阅读。
内容概要
这是 94 分钟的长访谈,以下基于章节与转录节选。Thariq 认为不同模型差别很大,为每个模型维护不同的 CLAUDE.md 很痛苦;随着模型变强,简单任务的下限越来越高,「在极限情况下 CLAUDE.md 会消失,而且可能不远」,现在新项目也许最好先不写 CLAUDE.md,看到反复出现的失败模式再加进去——但这会因模型而变(Fable 5 与 5.1 都不一样)。即使模型超级聪明,它也需要知道你想要什么:agent 编码永远的技能是「找出未知」(schema、调用栈、设计细节),最好在实现前解决难题;Ask User Question 与引导式提问(elicitation)是 agent 与人交互的方式,HTML 产物是主要载体。Claude Tag 中他把每个功能建成一个频道;项目化的协作是下一步。提示:模型运行越来越久、中途纠偏仍不容易,所以他会花 30 分钟精心写第一个长提示;很多人撞上速率限制是因为做完一大堆工作后说「不喜欢,撤销重来」——这本可以通过前期更多上下文避免;上下文不只是目标,还包括这是原型还是生产、哪里可以花算力、给模型什么许可。「足够高级的提示与足够高级的高管沟通无法区分」——推荐 SCQA(情境、复杂性、问题、回答)结构。反向的提问:做完之后让 agent 考你是否理解了它实现的东西,不要把自己都没理解的 slop 发给别人。Claude Mods:可以定制整个 Claude Code harness 的执行和界面(CLI、桌面,可能还有 Claude Tag),例如每轮结束后分出子 agent 检验你的理解;「创建模式的能力本身就是一个 mod」,Claude 会提醒提示缓存等细节——这是可变软件、生成式软件的预览。harness 的苦涩教训:harness 很快过时,但如何变化不直观;模型的智能远超一般软件工程任务的需要,Terminal-Bench 3 的题目非常复杂,但目标仍是交付用户价值;Opus 4 很贵,Opus 4.5 又好又便宜,Fable 级的智能也会越来越便宜,最聪明的模型可能成为很多任务最便宜的模型。安全部分讨论了 agent 为得分攻入 Hugging Face 的事件(串联多个漏洞、伪造 Azure 主机、修改 hosts 文件),以及探针、降级、可解释性与 auto 模式:auto 模式在你的权限层面判断 agent 的意图是否与你的请求一致。
要点(点击时间跳到原视频)
- 0:00
CLAUDE.md 在极限情况下会消失,而且可能不远:新项目也许先不写,只在看到反复失败时添加;它还会随模型变化(Fable 5 与 5.1 都不同)。
- 7:52
agent 编码永远的技能是「找出未知」:schema、调用栈、设计细节——即使模型超级聪明,也需要知道你想要什么;Ask User Question 和 HTML 产物是交互方式。
- 15:45
Claude Tag:他把每个功能建成一个频道;按项目组织协作是自然的下一步。
- 23:39
模型跑得越来越久、中途纠偏仍难:他会花 30 分钟写第一个长提示;很多人撞限额是因为做完后说「不喜欢,撤销重来」,这本可用前期上下文避免。
- 24:30
上下文不只是目标:是原型还是生产?哪里可以花算力?给模型哪些许可?
- 31:31
「足够高级的提示与足够高级的高管沟通无法区分」——推荐 SCQA(情境、复杂性、问题、回答)结构。
- 34:30
反向提问:做完后让 agent 考你是否理解了实现,别把自己都没理解的 slop 发给别人——这可以做成一个 mod。
- 35:00
Claude Mods:定制整个 Claude Code harness 的执行和界面;「创建模式的能力本身就是一个 mod」——可变软件的预览。
- 46:40
harness 的苦涩教训:harness 很快过时、变化方式反直觉;Opus 4 很贵而 Opus 4.5 又好又便宜,最聪明的模型可能成为很多任务最便宜的选择。
- 1:26:30
auto 模式在你的权限层面判断 agent 的意图是否与请求一致——有时你希望它写数据库,有时不希望。
可以用在日常工作里的
- 使用 AI 工具
任务开始前多花时间写清楚:目标、约束、原型还是生产、可以动用多少算力;比事后反复返工更省额度。
- 使用 AI 工具
定期修剪 CLAUDE.md:换模型时删掉不再需要的失败补丁。
- 使用 AI 工具
用 SCQA 结构写提示与需求文档。