AI Engineer CODE Summit 2026
Your Old Prompts Are Making Claude Worse
Lance Martin · Anthropic(应用 AI)
提示词也会积累技术债:旧模型需要的「一步步思考」「仔细检查」在新模型上变成成本和噪声。用评测定位应用在成本—质量前沿上的位置,按「多久不变」排列上下文以命中缓存,让 Claude 在留出测试集的前提下爬坡优化 skill 和配置(API skill 从 66% 提到 88%,支持基准成本降 90% 且分数更高);长时间 agent 要把会话日志与 harness、沙箱分离。
内容概要
Martin 先问:在为更强模型付费或为省钱接受更低分数之前,你的应用在自己评测的成本—质量帕累托前沿上处在哪里?很多应用在前沿内部。几代模型之前,工程师习惯写「一步步思考」、给草稿区、要求「仔细检查」或「这很重要」之类的强调,这些在新模型上可能多余甚至有害。他用约 50 张工单的合成客服评测模拟从 Opus 4.8 迁移到 Opus 5.5:先在新模型上跑旧提示得到中间点,区分升级带来的收益和删除过时指令带来的收益。缓存:连续两次 agent 请求之间可能只多了一次工具调用,找出前缀开始不同的第一个字节;共享工具和指令放最前,项目上下文其次,会话状态和增长的消息历史最后,用缓存命中率验证;团队在内部基准的默认 harness 上发现最多 72% 的成本节省空间且分数无明显变化。爬坡:先确认评测有可爬的「坡」(跨模型、思考预算、重复运行表现合理),用开放式评分器前自己先按 rubric 打分、跨模型比较并重复运行;把测试样例排除在 Claude 的编辑循环之外,防止它学会针对这批样例拿分(例如为某题硬编码 OCR)。实例:Claude API skill 用文档生成评测题得 66.1%,让 Claude Code 对照文档逐轮修订 skill,24 轮后到 87.9%;prompt 和 skill 特别适合这种自动实验。成本优化:设定质量下限,让爬坡器同时搜索模型、effort 和提示词,完整支持基准成本降 90% 且得分更高;建议从强模型 + 低 effort 开始比较。长时间 agent:METR 视野从 Opus 3 的约 4 分钟到 2025 年的一两小时,正走向一两天;Claude Managed Agents 把 harness(大脑)、沙箱(手)和只追加的会话日志分开,任何一方死掉都能从日志恢复;密钥存在与工具关联的 vault 里,模型只引用不看见。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 0:00
先找到应用在自己评测的成本—质量帕累托前沿上的位置:很多应用处在前沿内部,不必花更多钱也不必牺牲质量。
- 1:31
提示词像代码一样积累债务:「一步步思考」、草稿区、「仔细检查」、加粗强调都是旧模型时代的补丁,新模型上可能增加成本或干扰。
- 3:49
约 50 张工单的合成客服评测模拟 Opus 4.8 → Opus 5.5 迁移:先在新模型上跑旧提示,区分模型升级的收益和删除过时指令的收益。
- 5:30
按「多久保持不变」排列上下文:共享工具与指令 → 项目上下文 → 会话状态 → 增长的消息历史;检查连续请求前缀第一次分歧的位置,用缓存命中率验证。
- 7:41
Anthropic 应用 AI 团队对多个内部基准的默认 harness 做缓存诊断,发现最多 72% 的成本节省空间,测量分数无明显变化。
- 9:02
让 Claude 爬坡之前,先确认评测有「坡」:跨模型、思考预算和重复运行表现合理;用开放式评分器前自己先按 rubric 打分、跨模型比较、重复评分;难以稳定打分时用二元判断或成对比较。
- 11:47
把测试样例排除在编辑循环之外:只给训练集失败,每轮同时测两部分,否则优化器会学会针对这批样例拿分(例如为某题硬编码 OCR)。
- 14:57
实例:用文档生成问题评测 Claude API skill,初始 66.1%;给 Claude Code skill 文本和原始文档,逐轮查看失败、对照文档修订,24 轮后 87.9%。prompt 和 skill 特别适合这种自动实验。
- 16:29
成本目标:设定基线质量下限,同时搜索模型、effort、提示词三个维度;完整客服基准成本降 90% 且得分更高。建议从强模型 + 低 effort 开始比较每任务成本。
- 18:53
长时间 agent:Claude Managed Agents 把 harness(大脑)、沙箱(手)和只追加、可恢复的会话日志分开,沙箱或 harness 挂掉都能从日志恢复;密钥存在与工具关联的 vault,模型只引用不可见。
可以用在日常工作里的
- 使用 AI 工具
换模型时先审计旧提示:删掉「一步步思考」「务必仔细」之类的补丁,再用评测比较。
- 工程
检查 agent 的缓存命中率,把稳定内容放前、变化内容放后;这往往是最便宜的降本手段。
- 评测
让 agent 自动优化 skill/提示词时,一定要有留出集和预算,进展停滞时先分组看失败、检查题目和评分器。
- 工程
长任务的会话历史要存放在沙箱之外,生产中的重要失败要转成回归测试。