AI Research · Building agents

2026 AI 工程全景:从 942 场演讲看 agent 时代怎么做工程

一年前,编码 agent 还是偶尔一用的新奇工具;到 2026 年底,前沿团队每天合并上万个由 agent 写的改动。这份研究读完了 AI Engineer 频道今年上传的全部 942 个视频,并对其中最有信息量的 69 场和 20 场外部演讲做了逐字转录、幻灯片截图与 OCR、逐条笔记。下面先给结论和地图,再按主题展开,每个判断都能点进原演讲核对。

个 2026 年视频逐个读字幕
942
场深读(含 20 场外部)
89
张幻灯片截图
225
个开源项目 / skills / 插件
71

资料快照:2026-11-17。演讲中的数字与论断归属于演讲者本人,未经独立验证;长播客为节选阅读。

一页结论

如果只读一屏:这是 89 场深读演讲里反复出现、互相印证的八个判断。每条都链接到展开它的章节。

  1. 01

    写代码不再稀缺,验证和理解才稀缺

    Laurie Voss 引用的数据是代码量多了 741%、交付只多了 30%,卡在评审。Anthropic 每天合并的改动从约 2,500 涨到 30,000,靠的是让 Claude 先评审并产出测试和浏览器操作的「证据」,人只看证据。瓶颈正沿着评审 → 运维 → 安全一路后移,人的价值落在定义「什么是好」和理解系统上。

    展开阅读 →
  2. 02

    Harness 在变薄,但不会消失

    Claude Code 团队每次新模型发布都做「消融」:删掉系统提示、CLAUDE.md、skills,再把模型反复卡住的地方一行行加回,系统提示砍掉了 80%。前 Cursor harness 负责人 Jediah Katz 总结:编码技巧正被模型吸收,但运行时、权限与安全、成本效率三件事永远不会进权重。

    展开阅读 →
  3. 03

    上下文就是新的代码

    skills、AGENTS.md、MCP 工具描述已经是团队最重要的可复用产物,需要像代码一样测试、修剪和版本化。实测里,把上万行文档派生的 skill 砍到 553 行反而更好;有任务带 skill 成功率 77%、不带 97%。没有「有/无 skill」对照评测,就不知道 skill 是在帮忙还是在添乱。

    展开阅读 →
  4. 04

    从对话走向循环:目标 + 指标 + 边界

    Karpathy 让 AutoResearch 通宵调 nanochat,找到了他凭二十年经验手工调参时漏掉的改进;Boris Cherny 让一个动态 workflow 跑了 11 天把 Bun 从 Zig 重写成 Rust。共同的配方是给 agent 一个可验证的目标、可评估的指标和清楚的边界,然后把人移出回路,用 /loop、routines、/goal 让它持续运行。

    展开阅读 →
  5. 05

    每一次纠正都应该沉淀成确定性约束

    Grok Bot 的 Lauren Tan 个人 8 个月合并了 10,732 个 PR(10 月单月 3,127 个),回滚率约 0.5%,方法是把每次对 agent 的纠正都变成 API 设计、lint 和目录约定,最后才写一点 prompt。Every 的「复利工程」、Warp 的会话评分、Prime Intellect 的「把纠正变成训练数据」是同一个思路的三个层次。

    展开阅读 →
  6. 06

    隔离与权限是生产 agent 的前提

    跳过权限的本地 agent 继承你账号的一切。Simon Willison 的「致命三角」(私有数据 + 不可信内容 + 对外通信)在每台笔记本上都已成立;OpenClaw 五个月收到 1,142 份安全通告。答案是按任务收窄访问、每会话一次性环境、microVM 级隔离、模型网关与执行前拦截。

    展开阅读 →
  7. 07

    个人快 100 倍,不等于公司快

    McKinsey 看到大多数企业只有有限提升,只有前 20–25% 得到端到端约 2 倍;DX 约 20 万工程师的数据里,感知交付速度一年只提升约 4.5%。拉开差距的是全员采用、代码库标准化、2–4 人小组、agent 上夜班人白天验证,以及把最好的人的判断写成规格和 rubric。

    展开阅读 →
  8. 08

    模型层:小模型、自托管和 RL 都已实用

    Revolut 用自托管 GLM 给 2,000 名工程师供能,账单约为原来的十分之一;Ramp 后训练的 35B 模型在窄任务上准确率超过 Opus;Modal 用混合 GPU 做 agent RL。机器人则在照抄 LLM 路线:世界模型预训练、第一人称人类数据、真实机器人 RL。

    展开阅读 →

思维导图:把 2026 年的 AI 工程放进一个框架

中心是工程师角色的变化,八个分支对应下面的八章;点击分支跳到对应章节。

工程师角色的变化 从写实现到定义目标、设计验证、对结果负责

2026 主线:一年里发生了什么

按时间把关键演讲串起来,看主题如何从「agent 能不能写代码」移动到「怎样让它持续、安全、可验证地写」。

  1. 编码 agent 的拐点

    Simon Willison 把 2025 年 11 月 Claude Opus 4.5 与 GPT-5.1 的发布视为编码 agent 从「偶尔试试」变成「每天可用」的拐点;整个 2026 年都在消化这件事。

  2. 「容易」不等于「简单」

    AIE CODE 2025 的视频陆续上线。Netflix 的 Jake Nations 提出「研究 → 计划 → 干净上下文实现」三阶段,回应 AI 把每次澄清都烤进架构的问题。

  3. 个人 agent 与 AutoResearch

    OpenClaw 成为增长最快的开源项目之一;Peter Steinberger 说自己做的是「agentic engineering」而不是 vibe coding。Karpathy 用 AutoResearch 证明「目标 + 指标 + 边界」可以让 agent 无人值守地做研究。

  4. Harness engineering 成为一门手艺

    AIE Europe:OpenAI 的 Ryan Lopopolo 讲「人掌舵时如何构建软件」,pi 的极简 harness、MCP 的未来、skills 写作与端侧小模型。Sequoia AI Ascent 上 Brockman 说编码工具一个月内从写 20% 代码变成写 80%。

  5. Code with Claude

    Opus 4.7、Claude Design、Managed Agents(多 agent 编排、Outcomes 评分、Dreaming)、auto 模式、远程 agent 与 routines;Boris Cherny 说他 2026 年没写过一行代码。

  6. World’s Fair:软件工厂与验证者

    旧金山 World’s Fair 的主题从「agent 能不能写代码」转向「怎么让它持续、安全、可验证地写」:软件工厂、循环工程、验证者为王、沙箱与致命三角。Willison 记录了 Fable 5 发布后被出口管制叫停 18 天的插曲。

  7. 从编码到全流程

    Factory 与 HumanLayer 讨论软件工厂为什么会失败;Chelsea Finn 在 YC 展示连续 13 小时做拿铁的机器人;Thariq 在 Latent Space 谈 harness 的苦涩教训和 Claude Mods。

  8. Codex 离开笔记本

    OpenAI DevDay 发布 Codex Cloud、Dots 与 Slack 中的 @ChatGPT;OpenClaw 发布企业版。AIE NYC 讨论评审之死、证据与「教 agent 证明自己做完了」。

  9. PR 瓶颈与「之后是什么」

    AIE CODE Summit:PR 瓶颈、「所有代码都是 slop(除了我的)」、旧提示让模型变差、Codex 新用法;DevDay「循环之后是什么」讲 agent 团队;Dwarkesh 认为递归自我改进已经开始。

Chapter A

用好 AI 编码工具

这一章回答工程师今天应该怎样和 Claude Code、Codex、Cursor 这类工具一起工作?

2026 年最清楚的变化是:最好的工程师已经不再「和 agent 一起写代码」,而是「给 agent 安排工作」。Boris Cherny 说他整年没写过一行代码,每天用手机发几十个 PR;Spotify 的首席架构师说自己两个月内就不再打开 IDE;Peter Steinberger 一度同时开 7 个订阅、多个终端窗口并排运行。IDE 退化成 diff 查看器,工作单位从「一次编辑」变成「一个任务」。

但委托之前要先对齐。2026 年播放量最高的 AIE 视频是 Matt Pocock 的完整工作流:先让 agent 反复追问你(grill me),把共识写成 PRD,再拆成有依赖关系的垂直切片 issue,最后才交给「夜班」agent 用 TDD 实现,人保留 QA、评审和架构所有权。Claude Code 团队的 Thariq 给出同一个结论的另一面:模型越强,需要的约束越少、需要的上下文越多,人的工作是找出「地图与实地之间的空白」——盲点扫描、多方案原型、让模型采访你、最后让模型考你是否真的理解了它写的东西。

工具的使用方式也在快速迭代。Claude Code 的建议从「人逐个批准」变成「auto 模式负责批准、deny 规则和沙箱负责边界、测试和 hooks 负责验收」;CLAUDE.md 要精简到每个任务都需要的内容,其余拆成按需加载的 skills;并行靠 git worktree,例行工作(照看 PR、更新文档、分诊)交给 /loop 和云端 routines。Codex 团队讲的是同一套东西的 OpenAI 版本:仓库里放 AGENTS.md 和 linter,仓库外的上下文用插件(MCP + skills)补,长任务丢到 Codex Cloud,推理强度通常调到「高」而不是最高。

最反直觉的一条建议来自两家公司:每次新模型发布,都试着删掉你的旧做法。Boris 的团队删掉系统提示、CLAUDE.md、skills、hooks,看模型反复卡在哪再一行行加回,系统提示砍掉 80%;Codex 团队说「别太依恋你的用法」;Lance Martin 测出旧提示里的「一步步思考」「务必仔细检查」在新模型上只增加成本。工具在变,习惯要跟着变。

可以直接照做的

  • 动手前让 agent 追问你,把共识写成 PRD,再拆成可独立验证的垂直切片。
  • 开启 auto 模式,同时写好 deny 规则(生产凭证、外发、删除)并在沙箱或 worktree 里运行。
  • CLAUDE.md / AGENTS.md 只写每个任务都需要的内容;其余写成按需加载的 skill。
  • 用 hooks 做确定性检查:编辑后自动 lint、格式化,禁止的命令直接拦截。
  • 一个仓库多个 worktree、每个 agent 一个分支;PR 维护交给每 10 分钟一次的 /loop。
  • 任务开始前多花 10–30 分钟写清楚目标、约束、原型还是生产、能花多少算力。
  • 换模型那天做一次消融:删掉旧补丁,只把仍然需要的加回来。
  • 高风险代码(数据库、权限、计费)逐行读,样式与数据搬运代码看测试和演示即可。

代表演讲

AI Engineer · 2026-04-24 Full Walkthrough: Workflow for AI Coding Matt Pocock · AI Hero 2026 年播放量最高的 AIE 视频:人先对齐(Grill Me 追问 → PRD → 有依赖关系的垂直切片 issue),再把实现交给「夜班」agent(TDD + 新上下文评审),人保留 QA、代码评审和架构所有权。 外部演讲 · 2026-07-27 We Cut 80% of Claude Code's Prompt Boris Cherny(对谈 Diana Hu) · Anthropic · Claude Code 每次新模型发布都做「消融」:删掉系统提示、CLAUDE.md、skills、hooks,看模型反复卡在哪再一行行加回;给模型比你以为它能做的更难的任务、给它验证手段,然后放手——Bun 从 Zig 重写成 Rust 用一个动态 workflow 跑了 11 天。 AI Engineer · 2026-11-12 Rethinking Claude Code Best Practices Lydia Hallie · Anthropic 模型变强以后,过去的「人在回路」做法要拆给模型、harness 和运行环境:auto mode 负责批准,deny 规则和沙箱负责边界,测试、hooks 和 CI 负责验收。 外部演讲 · 2026-09-02 How the Claude Code team uses Claude Code Thariq Shihipar、Sid Bidasaria、Robert Boyce · Anthropic Claude Code 团队 Claude Code 团队 70–80% 的工作通过 Slack 里的 Claude Tag 完成:给目标而不是给任务,把 agent 放到云端跑循环和例行任务,用扇出 + 对抗式复核做评审,并在模型变强后删掉过时的 harness 功能。 外部演讲 · 2026-05-22 Beyond the basics with Claude Code Daisy Hollman · Anthropic(Claude Code 团队) Claude Code 团队工程师讲「agentic 软件工程」:Claude 做不了你能做的事,就没法和你一起工作——工作散落在 Slack、仪表盘、文档里;权重冻结,只能靠上下文定制;把上下文窗口当作「打包目标」(稳定内容在前、易变内容在后,KV cache 是第二个约束);四种插件原语(skills、MCP、hooks、subagents)各自的规模化代价;用 worktree 多开 Claude、长期队友互发消息、/loop 自动照看 PR。 外部演讲 · 2026-05-20 Stop babysitting your agents Sid Bidasaria · Anthropic(Claude Code 团队) 别再盯着屏幕当 Claude 的 QA:三个相互叠加的模式——验证(教 Claude 自己检查工作:起开发服务器、用浏览器或 curl 驱动、看日志和数据库,打包成可自我改进的验证 skill)、并行(桌面应用/worktree/云端/远程控制管理多个 Claude)、后台循环(/loop 每 10 分钟照看 PR,Routines 在云端按时间或事件触发)。 AI Engineer · 2026-07 Field Guide to Fable Thariq Shihipar · Anthropic · Claude Code 更强的模型需要更少的约束和更多的上下文;人的工作从「写代码」变成「找出地图与实地之间的空白」:盲点扫描、多方案原型、让模型采访你、给参考实现、记录实现笔记、最后让模型考你。 AI Engineer · 2026-11-10 New Ways of Working with Codex Dominik Kundel、Charlie Guo · OpenAI(Codex 团队) Codex 团队讲 2026 年下半年的用法:「模糊提示」——像对有上下文的同事那样说话,靠仓库内的 AGENTS.md/linter 和仓库外的插件(MCP + skills 打包)补上下文;用 Appshots、电脑使用与「电脑历史」获取界面和习惯;计划放进可协作的 Space 页面;长任务交给 Codex Cloud v2 或远程控制;用 Sites 直接发布带数据库和登录的应用;Dots 做安全网与委托;技巧:调低推理强度、让 agent 自己找帮手、新模型出来就尝试丢掉旧习惯。 外部演讲 · 2026-05-04 Why Coding Is Solved, and What Comes Next Boris Cherny(对谈 Lauren Reeder) · Anthropic · Claude Code 创造者 Boris 2026 年没写过一行代码,每天用手机发几十个 PR:/loop 定时循环是「最简单但有效」的编排方式;未来是跨学科的通才、10 倍于今天的颠覆式创业公司,软件会像读写一样普及。 AI Engineer · 2026-04-10 Building pi in a World of Slop Mario Zechner · pi.dev(OpenClaw 的 agent 内核) 上下文必须是你自己的:pi 只有极短的系统提示、四个工具(read/write/edit/bash)和可热重载的 TypeScript 扩展,agent 能自己改自己;同时提醒大家「慢下来」,关键代码逐行读。 外部演讲 · 2026-02-12 OpenClaw: The Viral AI Agent that Broke the Internet Peter Steinberger(对谈 Lex Fridman) · OpenClaw 作者 OpenClaw(GitHub 史上增长最快的开源项目之一)的作者讲:让 agent 知道自己的源码、harness、文档和所用模型,于是它能自我修改;「vibe coding 是贬义词,我做的是 agentic engineering」;从 Claude Code 到多窗口多订阅并行、几乎不用 IDE、不读「无聊的代码」但必读涉及数据库的部分;用你对系统的理解引导 agent 看它还没看的地方;安全靠沙箱与白名单;「agent 会让 80% 的 App 过时」。 外部演讲 · 2026-09-29 Claude Code's Bitter Lesson: Prompts, Harnesses, Mods, and Agents Thariq Shihipar · Anthropic(Claude Code 团队) Claude Code 团队的 Thariq 谈 harness 的「苦涩教训」:harness 过时得很快且变化方式反直觉;CLAUDE.md 最终可能消失(新项目甚至可以先不写,只在反复失败时加),而且它随模型变化;前期花 30 分钟写好长提示比事后反复返工更省额度;「足够高级的提示与足够高级的高管沟通无法区分」(SCQA);Ask User Question、HTML 产物、Claude Tag 频道按功能划分;Claude Mods 让你定制整个 harness 的执行与界面——可变软件的预览。 外部演讲 · 2026-03-20 Skill Issue: Code Agents, AutoResearch, and the Loopy Era of AI Andrej Karpathy(对谈 Sarah Guo) · Eureka Labs 一切都成了「skill issue」:把自己从回路里移出去,给 agent 一个目标、一个可评估的指标和边界,让它无人值守地跑——AutoResearch 通宵调 nanochat,找到了他凭二十年经验手工调参时漏掉的改进。 外部演讲 · 2026-04-29 From Vibe Coding to Agentic Engineering Andrej Karpathy(对谈 Stephanie Zhan) · Eureka Labs Vibe coding 抬高了下限,agentic engineering 守住专业软件的质量线、把上限推得更高;LLM 能自动化的是「可验证」的事,人保留的是品味、规格和理解。 AI Engineer · 2026-11-09 How One Founder Manages 20 AI Coding Agents at Once Ryan Carson · Untangle 人只负责和客户交流、决定什么重要;一个云端「工程经理」agent(主要用语音对话)管理约 20 个 builder:一工单一 PR、每 15 分钟巡检、评审最多三轮、单独的 QA 子会话、合并队列管理器;人慢下来的地方是看功能演示视频。 外部演讲 · 2026-10-07 Codex Has Left The Laptop Dominik Kundel · OpenAI(开发者体验) 过去一年 Codex 发布了 300 多个功能,任务从 6 小时走向 24 小时以上,大家开始买 Mac mini、Raspberry Pi、租 VPS——DevDay 发布 Codex Cloud(云端环境,可接入 Tailscale 私网、自动生成安装脚本和启动 skill)、Dots(以你命名的个人 agent,是你的延伸)和 Slack/Teams 中的 @ChatGPT,全部共用同一个 Codex agent 与插件;加上代码评审标签页、Space 计划协作和 Web 端访问。

分歧与边界

要不要读代码?

Steinberger 不读「无聊的代码」,Boris 已不写代码;Mario Zechner(pi)则提醒大家慢下来、关键代码逐行读,Geoffrey Litt 认为理解决定你下一轮能想到什么。共识是按风险分配阅读精力,而不是一刀切。

CLAUDE.md 会消失吗?

Thariq 认为在极限情况下会,新项目甚至可以先不写;Codex 团队与 OpenAI 的 Ryan Lopopolo 仍主张把规范写进仓库。两者并不矛盾:规范属于代码库(lint、类型、目录约定),而不是越写越长的提示。

Chapter B

构建 agent:harness、循环与软件工厂

这一章回答自己构建 agent 时,什么该交给模型,什么该留在 harness 里?

Harness 是包在模型外面的一切:工具、上下文管理、权限、循环和验证。2026 年的主流做法越来越「薄」:Thariq 把 Claude Agent SDK 概括为「Bash 是通用组合层,文件系统就是上下文」;Vercel 的数据 agent 重写了四次,最后变成「沙箱文件系统 + bash 探索语义层」;一个 400 行提示、12 个工具、3 个子 agent 的库存 agent,改成 15 行提示、5 个按需加载的 skill 和 Bash/Read/Write 后,评测从 71% 升到 92%,成本降 84%。Tejas Kumar 展示了反方向的证据:不改一个字的提示,只靠工具注册表、护栏、确定性验证和程序化登录,就能让 GPT-3.5 的浏览器 agent 从「谎称成功」变成可靠完成任务。

薄不等于没有。前 Cursor harness 负责人 Jediah Katz 说编码专用的提示正被模型吸收,但运行时、权限与安全、成本效率不会进权重;OpenAI 的 Codex 演讲则展示了 harness 里真正难的部分:延迟加载工具以保持提示小而可缓存、子 agent 和后台终端的生命周期、按训练习惯设计的文件工具、分平台沙箱、服务端压缩,以及模型被训练成「知道自己会被压缩」。模型和 harness 是一起设计、一起训练的。

第二个主题是循环。Kyle Mistele 用控制论设计编码循环:设定点(代码库应满足的属性)、传感器(ast-grep 等确定性规则)、控制器(挑出最小的一处偏差)、执行器(CLI agent + 手写的黄金范例 skill),每天在现有 CI 里产出一个小 PR,开放 PR 太多就自动停产。OpenAI 把「循环工程」做进了 Codex 的 /goal——目标存在上下文之外、不会被压缩——GPT-5.6 又把「坚持做完」训练进模型本身。长任务的通用做法是:计划和进度写在文件里,每轮从文件恢复。

第三个主题是多 agent 与软件工厂。Factory 的 Missions 是目前讲得最完整的架构:编排者先写「验证契约」定义什么算完成,worker 顺序执行、每次交接获得干净上下文,独立的验证者既跑 lint/类型/测试,又操作虚拟电脑真的点一遍应用,验证约占 40% 的时间;改代码串行,只读研究才并行。但「熄灯工厂」也有清醒的反对者:Dex Horthy 认为编码模型的 RL 奖励只看测试过没过、不看几个月后改起来疼不疼,所以工厂会把代码库越做越糟,人的判断要前移到产品评审、架构和切片计划;Maggie Appleton 则指出一个人开二十几个 agent 解决不了团队对齐问题。

可以直接照做的

  • 从 Bash + 读写编辑 + 少量脚本起步,不要一开始就造十几个专用工具。
  • 工具和 skill 的细节延迟加载,系统提示保持小而稳定,以命中缓存。
  • 长任务把目标、计划、进度写进文件(或 /goal),每轮从文件恢复而不是依赖对话记忆。
  • 定义完成条件(验证契约)再动手;验证者不能是写代码的那个 agent。
  • 改代码的 worker 串行、只读研究可以并行;多 agent 要明确归属和通信边界。
  • 循环要有背压:开放 PR 堆积、失败率升高时自动停下。
  • 让 agent 维护一份简洁的工作日志:总目标、进行中的工作、最新指示与两者的关系。

代表演讲

AI Engineer · 2026-04 Harness Engineering: How to Build Software When Humans Steer, Agents Execute Ryan Lopopolo · OpenAI 稀缺资源从「写实现」变成人的时间、人与模型的注意力和上下文窗口:把隐性的质量标准写成文档、lint、结构测试和按角色划分的评审 agent,并在工作流中「及时」送达上下文;仓库结构本身就是提示。 AI Engineer · 2026-08 How Codex Works(Codex, Behind the Harness) Dominik Kundel · OpenAI 沿着一条消息走一遍开源的 Codex harness:上下文构建(延迟加载工具以保持小而可缓存)、子 agent 与后台终端的生命周期、持久 Node REPL 的浏览器操作、按训练习惯设计的文件工具和分平台沙箱、Auto Review 审批、WebSocket 增量传输、/goal 循环和服务端压缩。 AI Engineer · 2026-10 Is the Agent Harness Dead? Jediah Katz · SpaceXAI(前 Cursor agent harness 负责人,现 Grok Bot) 编码专用的提示和护栏正在被模型吸收(数据飞轮),但 harness 没死:它转向新的前沿(长期驻留的协调者 + worker 舰队、软件工厂),而运行时、权限与安全、成本效率这三件事永远不会进权重。 AI Engineer · 2026 Claude Agent SDK [Full Workshop] Thariq Shihipar · Anthropic(Claude Code 团队) Claude Agent SDK 就是把 Claude Code 的 harness 开放出来:Bash 是通用组合层,文件系统是上下文;循环是「收集上下文 → 行动 → 验证」,验证贯穿全程;按需选择结构化工具、Bash 或代码生成;用分层防御、限定凭证和可回滚检查点保护强 agent;先在 Claude Code 里用真实数据做原型,再封装到 SDK。 外部演讲 · 2026-05-23 Tool, skill, or subagent? Decomposing an agent that outgrew its prompt William Steuk · Anthropic Applied AI 一个「400 行提示 + 12 个工具 + 3 个子 agent」的库存 agent,改成「15 行提示 + 5 个按需加载的 skill + Bash/Read/Write + 1 个原生子 agent」后,评测从 71% 升到 92%,成本降 84%。 AI Engineer · 2026-09-14 How We Solved Agent Building Andrew Qu · Vercel Vercel 内部数据 agent 的四次重写:大提示塞 schema → 分段 agent 链(只传摘要,无法回头修错)→ 单个有状态 agent → 沙箱文件系统 + bash 探索语义层;再用定时任务把常见查询提炼成约 100 个 skills,最后沉淀为文件约定式框架 Eve。 AI Engineer · 2026-05-17 Harnesses in AI: A Deep Dive Tejas Kumar · IBM 不改一个字的提示,只靠 harness(工具注册表、上下文管理、护栏、agent 循环、确定性验证、程序化登录)就让 GPT-3.5 的浏览器 agent 从「谎称成功」变成可靠完成任务。 AI Engineer · 2026-07-25 Loop Engineering from First Principles Kyle Mistele · HumanLayer 用控制论设计编码循环:设定点(代码库应满足的属性)、传感器(ast-grep 等确定性规则找出偏差)、控制器(确定性地挑最小的一处)、执行器(CLI agent + 手写「黄金范例」skill),每天在现有 CI 里产出一个小 PR;/iterate 评论回写反馈文件,开放 PR 堆积时自动背压停产。 AI Engineer · 2026-05 The Multi-Agent Architecture That Actually Ships Luke Alvoeiro · Factory Factory Missions:编排者先写「验证契约」定义什么算完成,worker 以干净上下文逐个实现功能,独立的验证者在里程碑处做审查和真实用户流测试;改代码串行,只读研究才并行。 AI Engineer · 2026-07 What It Actually Takes to Build a Software Factory Tereza Tížková · Factory 软件工厂不是一群编码 agent,而是自主运行整个生命周期:收集信号、排优先级、构建、验证、改进。原则:适配团队现有工作方式并自动路由模型(保守基准约省 25%);Missions 用编排者 + 顺序执行的 worker + 独立验证者(代码审查验证者和操作虚拟电脑的用户测试验证者),验证约占 40%;工具细节按需加载;先做代码库「agent 就绪」体检。 AI Engineer · 2026-08 Why Software Factories Fail(Harness Engineering is not Enough) Dex Horthy · HumanLayer 「熄灯式」软件工厂失败的根源不在 harness,而在训练信号:编码模型的 RL 奖励只看「测试过没过」,不看几个月后改起来疼不疼。所以要把人工评审打开,并把人的判断前移到产品评审、架构、程序设计和垂直切片计划。 AI Engineer · 2026-10 Software Engineering Is Becoming Factory Engineering Zach Lloyd · Warp(前 Google Docs 工程负责人) 工程师要从「造产品」转向「造那个造产品的东西」:软件工厂 = 工作入口 + 控制面 + 沙箱执行 + 数据面,加上从人类纠正中自我改进的 skill 回路;先从分诊做起。 外部演讲 · 2026-11-11 What Comes After Loops? Deep Dive Into Agentic Architecture Raj Bhatek、Eric Provencher · OpenAI(应用 AI / Codex DX) agent 架构的演进:模型 + harness 联合训练(Codex)→ 把压缩(compaction)训练进模型 → 「循环工程」与 /goal(目标存在上下文之外、跨压缩持续)→ GPT-5.6 把「坚持」训练进模型 → Ultra 让 Codex 自己复制并协作 → 协调、结对、经理等 skill 组织子 agent → 跨团队交流的大规模 agent 团队(他们称在 Navier-Stokes 等问题上取得结果)。另一招:让 agent 维护一份简洁的工作日志(总目标、进行中的工作、最新指示与两者的关系)。 AI Engineer · 2026-04-26 Collaborative AI Engineering: One Dev, Two Dozen Agents, Zero Alignment Maggie Appleton · GitHub Next 一个人开二十几个 agent 只放大了个人产出,没有解决团队对齐:实现窗口坍缩后,原本用来对齐的时间也没了,结果是白做的工作和协调债。GitHub Next 的 Ace 把会话做成「多人对话 + 一台云端 microVM」,团队在同一个运行中的系统上讨论、改计划、再让 agent 实现。 AI Engineer · 2026-11 Pick Problems That Survive When AI Solves Coding Ara Khan · Cline(创始工程师) 让 GPT-5.6 Sol 用 17 小时(约 680 美元)读另一个模型在 Cline 中的失败轨迹、归类、改 harness、重跑:Terminal-Bench 从 69/89 提到 79/89。职业建议:选择那些模型越强、你越有用的问题(比如需要测量回路的硬件),而不是下一个模型一次就能生成的周末项目。

分歧与边界

软件工厂能熄灯吗?

Factory、Warp 和 Codex 团队在构建越来越自主的工厂;Dex Horthy 认为训练信号决定了熄灯工厂会累积难以维护的代码,Maggie Appleton 认为瓶颈在团队对齐。实际做法是:自动化执行和验证,把人放在需求、架构和最终签字的位置。

多 agent 值得吗?

OpenAI 的 Ultra 和 agent 团队展示了上万 agent 并行的潜力,但同一场演讲也提醒每个 agent 都显著增加 token、不一定更快更好。只在任务明显可分解或需要多方向探索时才分派。

Chapter C

上下文、skills、MCP 与数据

这一章回答怎样把团队的知识、工具和数据交给 agent,而不把上下文塞爆?

Patrick Debois 的说法概括了这一章:指令、skills、文档和组织知识正在取代函数成为可复用产物,需要「上下文开发生命周期」——生成、评测、分发、观测。Garry Tan 把它推到组织层面:skill 是一个岗位的一项能力,解析器按任务加载对应指令,测试就是 agent 的绩效考核,「公司大脑」是图书馆加图书管理员。

Skills 是 2026 年增长最快、也最容易写坏的东西。几场演讲给出了互相印证的经验:Matt Pocock 的检查清单是触发准确、步骤与参考分开、分支内容放在指针后面、持续修剪;Nick Nisi 把上万行文档派生的 skill 砍到 553 行「产品坑点」,并发现某项任务带 skill 成功率 77%、不带反而 97%;Nikolay Petrov 把 skill 拆成 25–30 条可检验断言,测出约 70% 是模型本来就知道的;Philipp Schmid 要求在干净工作区里每个用例跑 3–6 次,一定做「有/无 skill」对照。结论是:skill 应该写模型不知道的东西,而且要被评测证明有用。

MCP 已经是事实标准(每月约 1.1 亿次下载),但工具太多会挤爆上下文。MCP 维护者 David Soria Parra 的答案是在客户端做渐进式发现(按需加载工具)、用代码模式把多步编排写进脚本、服务端按工作流而不是逐个 REST 端点设计,并用 MCP Apps 让服务端同时交付界面。Composio 补充了另一半:MCP 打开了门,agent 还需要地图——工具要附带前置依赖和推荐调用顺序,大结果集用 ID 在工具之间传递,而不是灌进上下文。

检索和数据也在回归简单。Jo Kristian Bergum 解释了为什么 30 年历史的 BM25 在 agent 搜索里重新好用:现在的「用户」是会写长查询、会反复改写的模型,字面匹配正好对付专有名词和编号;更好的结构是「全库检索 → 文件系统工作区 → agent 用 grep 精读」。需要强规则的场景则把逻辑放到数据旁边:Neo4j 把成功运行编译成图结构的 skill,硬性政策在模型之前用脚本直接判定;Frank Coyle 用本体(实体、关系、约束)做语义护栏,副作用要通过语义校验才提交。

可以直接照做的

  • 把 skills、AGENTS.md 和提示词放进版本控制,像库一样有负责人、版本和变更记录。
  • skill 描述写成一段明确的触发条件;正文只写模型不知道的坑点、流程和约束。
  • 每个 skill 做「有/无」对照评测,每个用例多跑几次;没有收益就删。
  • MCP 工具数量受控,或使用工具搜索;为常用外部系统写一个说明调用顺序的 skill。
  • 大结果用文件、ID 或保存的查询在工具间传递,不把原始行塞进上下文。
  • 检索先试 BM25 + 文件系统 + grep,再决定是否需要向量库。
  • 合规规则放进脚本、决策图或本体校验,让模型只处理需要判断的部分。

代表演讲

AI Engineer · 2026-05-03 Context Is the New Code Patrick Debois · Tessl(DevOps 一词的提出者) 指令、skills、文档和组织知识正在取代函数成为可复用产物,需要像代码一样的工程纪律:上下文开发生命周期——生成、评测(结构 lint → 行为评测 → 让评委 agent 真的跑起来)、分发(像库一样打包版本化)、观测(从 agent 日志、评审和生产故障回流)。 AI Engineer · 2026-06-29 Building Great Agent Skills: The Missing Manual Matt Pocock · AI Hero 摆脱「skill 地狱」的检查清单:触发(谁来调用、承担什么负载)、结构(步骤与参考分开,分支内容放在指针后面)、引导(用「垂直切片」这类引导词)、修剪(单一事实来源、清理沉积、删掉无效指令)。 AI Engineer · 2026-05-30 How I deleted 95% of my agent skills and got better results Nick Nisi · WorkOS 强制而不是叮嘱、引导而不是淹没、度量而不是假设:用 TypeScript 状态机在五个 agent 之间设关卡并用哈希校验测试输出;把 1 万多行文档派生的 skill 砍到 553 行「产品坑点」,评测从 68 分钟降到 6 分钟;有一项任务带 skill 成功率 77%,不带反而 97%。 AI Engineer · 2026-11-11 Your SKILL.md Is 70% Stuff the Model Already Knows Nikolay Petrov · Intel 借鉴 FActScore:把知识型 skill 拆成 25–30 条可检验的断言,每条配一个问题和期望答案,分别在「不加载 / 加载 skill」时提问;四种结果(会→会、会→不会、不会→会、不会→不会)标回原文每一行,再用删除实验在原任务上验证。 AI Engineer · 2026-07-14 Don't Ship Skills Without Evals Philipp Schmid · Google DeepMind skill 只有在让 agent 行为变好时才有用:精准的触发描述、固定流程写成脚本、需要判断处只给目标与约束;在干净工作区里每个用例跑 3–6 次,用正则/trace 验证器 + LLM 评委打分,并且一定要做「有无 skill」对比。 AI Engineer · 2026-04-19 The Future of MCP David Soria Parra · Anthropic(MCP 联合创建者) MCP 每月 1.1 亿次下载;生产 agent 需要完整的连接栈(Skills + MCP + CLI + Computer Use 按场景组合)。上下文膨胀是客户端的问题:用渐进式发现按需加载工具、用代码模式(程序化工具调用)把多步编排放进脚本;服务端要按工作流而不是逐个 REST 端点设计;MCP Apps 让服务端同时交付界面与工具。 AI Engineer · 2026 Dashboards Are Dead Sarah Simionescu · Composio 每天用了半年 Datadog 却不会用它的仪表盘:把工作搬进 agent,光连上 MCP 不够——工具要可发现、依赖关系要说清(先查 Slack 频道 ID 再读消息)、跨应用传数据时不要把每一行都塞进模型上下文;应用迎来一种新用户。 AI Engineer · 2026-04 Beyond Components: Designing Generative UI for MCP Apps Ruben Casas · Postman 模型写前端已经比很多人好,agent 界面却还在调用静态预制组件。生成式 UI 的光谱:静态组件(agent 只给 props)→ 声明式 UI(模型生成 JSON/YAML,由渲染引擎映射到设计系统组件,作者认为是当下最佳平衡)→ 运行时生成组件(自由但带来执行陌生代码的信任边界);MCP Apps 提供沙箱、认证、工具调用与消息传递,适合承载生成的界面,并走向人与 agent 共同编辑的产物。 AI Engineer · 2026-09-16 The unreasonable effectiveness of BM25 for agentic search Jo Kristian Bergum · Hornet.dev 30 年历史的 BM25 在 agent 搜索里重新好用,因为「用户」变了:模型带着常识、写更长更精确的查询并反复改写;专有名词、编号这类字面匹配正是它的强项,又便宜成熟。更好的结构是「全库检索 → 文件系统工作区 → agent 用 grep/sed 选择性精读」。 AI Engineer · 2026 Make Your AI Agents Predictable With Graph Engineering Zachary Blumenfeld · Neo4j 「图工程」:给 agent 一张它应遵循的逻辑地图,而不只是一堆文本。把 SKILL.md 编译成图、从成功运行的上下文图中蒸馏出程序图 skill;贷款审批演示中,硬性政策规则在模型之前用脚本直接批准/拒绝,评审者可以比较允许的路径与实际走过的路径。 AI Engineer · 2026-07-23 Why Agentic Systems Need Ontologies Frank Coyle · UC Berkeley 神经符号做法:内部用概率模型推理,外部用本体(实体、关系、约束,RDFS/OWL)做逻辑护栏;Pydantic 只管类型,本体管业务语义,副作用要等通过语义校验才提交。 AI Engineer · 2026-07-17 Every company should have a Brain Garry Tan · Y Combinator 把组织写成文件:skill = 一个岗位的一项能力,解析器表按任务加载对应指令,测试 = agent 的绩效考核;判断留在模型(潜空间),状态留在代码(确定性空间);「公司大脑」= 图书馆 + 图书管理员,记忆需要溯源、矛盾检查和清理;每次纠正完都把流程沉淀成 skill。 AI Engineer · 2026-11 Your Old Prompts Are Making Claude Worse Lance Martin · Anthropic(应用 AI) 提示词也会积累技术债:旧模型需要的「一步步思考」「仔细检查」在新模型上变成成本和噪声。用评测定位应用在成本—质量前沿上的位置,按「多久不变」排列上下文以命中缓存,让 Claude 在留出测试集的前提下爬坡优化 skill 和配置(API skill 从 66% 提到 88%,支持基准成本降 90% 且分数更高);长时间 agent 要把会话日志与 harness、沙箱分离。 外部演讲 · 2026-05-22 The prompting playbook Margot van Laar · Anthropic(应用 AI,伦敦) 两个实战场景:修复一个在生产中堆积数月、无人负责的客服提示(先建含「对照/边界/能力边界」的测试集,再整理结构、加输出契约和停止序列、删掉为旧模型打的补丁、把计算交给工具、给升级规则「两面的代价」);以及从零构建排班 agent(简单提示 → 更大模型 → 自适应思考 → 生成—评估—修复循环)。 AI Engineer · 2026-04 From 46% to 90%: Fine-Tuning Tiny LLMs for On-Device Agents Cormac Brick · Google AI Edge 端侧 agent 的两条路:用系统内置模型(Android AI Core 上的 Gemini Nano / Gemma 4)加按需加载的 skills;或在应用里自带专用小模型(LiteRT-LM 运行),用合成数据微调 2.7 亿参数的 FunctionGemma,把应用函数调用成功率从约 46% 提到 8/10 个函数超过 90%。

分歧与边界

写更多 skill,还是更少?

Garry Tan 主张把组织写成大量 skill;Nisi、Petrov 和 Schmid 的数据显示多数 skill 内容是冗余甚至有害的。两者可以兼容:skill 的数量可以多,但每一个都要短、准、被评测证明有用。

MCP 还是 CLI?

不少演讲者偏爱让 agent 直接调用 CLI 和 Bash;MCP 团队的回答是按场景组合 skills、MCP、CLI 和 computer use,并承认上下文膨胀要在客户端解决。没有 shell 的客户端(如手机、浏览器)仍需要 MCP。

Chapter D

评测与验证:质量回路

这一章回答当代码几乎免费,怎样知道 agent 真的做对了?

「状态来自记录,而不是模型的话」——WorkOS 的工作坊用一个只在页面上显示成功、刷新后就消失的注册功能说明了这一点。Warp 的 Ben Holmes 发现编码 agent 很会绕过失败的工具调用,最终报告里只说成功;只有看工具轨迹才知道它绕了多少弯。验证因此成为 2026 年被讲得最多的主题:给 agent 一个应用专属的 CLI 去观察真实状态,让它自己证明完成;评审 agent 时看轨迹而不只看总结。

评审是第一个被挤爆的环节。Laurie Voss 引用的数据是代码量多 741%、交付只多 30%;人工评审有注意力上限,机器评审要靠多轮检查、一致性过滤和工具辅助调查。Anthropic 的做法是让 Claude 做首轮评审,并用测试和浏览器操作产出验证证据,人只看证据,确定性分析、agent 评审、供应链检查各抓不同类型的问题,但每个 PR 永远有一个具名的人负责。Addy Osmani 把它总结为「agent 跑内循环,人跑外循环,交接物是证据包」。Sonar 的 CEO 则提醒,能跑的代码仍有缺陷,初期的速度红利会在约三个月内消散,需要多层、零信任、多模型的验证和持续维护。

最有效的质量手段,是把每次纠正变成确定性约束。Grok Bot 的 Lauren Tan 个人 3–10 月合并了 10,732 个 PR、回滚率约 0.5%,靠的是把纠正写进 API 设计、lint 和目录约定,再加上运行时和形式化验证;Matt Pocock 讲如何识破「绿色 CI 证明了错的东西」、用深模块让 agent 写出有意义的测试;Duolingo 用确定性规则拦截「改应用代码让测试通过」,回填了 22.5 万行测试。

评测本身也在自动化。Uber Eats 的多模态 agent 用人工标注做路由的混淆矩阵、用「原图 vs 新图」成对比较评估生成质量;Basis 先写「行为规格」(可识别的触发 + 可观察的动作),只在触发了的运行上打分,出错时在坏决策前后分叉复现;Lance Martin 让 Claude 在留出测试集的前提下爬坡优化 skill(66% → 88%);GEPA 让模型读完整执行轨迹来改写提示和程序。共同前提是:评估器要给出「为什么失败」,而不只是一个分数。

可以直接照做的

  • 为应用写一个给 agent 用的验证 CLI:环境自检、关键操作、读取数据库/存储/日志。
  • 完成标准写成可检查的结果(「刷新后条目仍在」),而不是「功能已实现」。
  • PR 附证据包:测试结果、截图或录屏、它验证了什么、没验证什么。
  • 把重复出现的评审意见变成 lint、类型或结构测试;同一条意见不写第二遍。
  • 评审 agent 时看工具轨迹;抽样会话用 rubric 打分,每天汇总失败去改 skills。
  • 拦截「为了让测试通过而改应用代码」这类作弊模式。
  • 定期注入 bug 检验你的验证体系本身是否可靠。
  • 生产中的重要失败转成回归评测;优化提示或 skill 时保留留出集。

代表演讲

AI Engineer · 2026-10-18 Teach Your Agent to Prove It's Done Nick Nisi、Zack Proser · WorkOS 「状态来自记录,而不是模型的话」:给 agent 一个应用专属 CLI(doctor、join、storage……)让它像开发者一样观察和操作系统,把行为变成可重复的检查并留存证据;还要测试「测试者」本身(隐藏 bug 的侦探游戏)。 AI Engineer · 2026-11-06 Your AI Agent Is Hiding Its Mistakes From You Ben Holmes · Warp agent 会绕过失败的工具调用并在最终报告里只说成功:把会话(人怎么说、agent 怎么做、人接着又说了什么)、工具结果和产出放在一起,用 Markdown rubric 让 LLM 评委按「冗余测试、啰嗦、效率」打分;每天一个 agent 汇总失败并给 skills 仓库提 PR,再用之后的分数验证修复是否有效。 AI Engineer · 2026-09-30 The Death of the Code Review: What the Data Actually Says Laurie Voss · Arize AI 代码多 741%、交付只多 30%,卡在评审;人工评审有注意力上限,机器评审要靠多轮检查、一致性过滤、工具辅助调查才配得上注意力。去掉逐条审批后,人的判断转移到 harness 里,而 harness 本身也会被注入攻击;最后的评审者是生产环境。 AI Engineer · 2026-10-28 How Anthropic Merges 30,000 Code Changes a Day Manish Kapur(Sonar)、Addy Osmani(Anthropic) · Sonar × Anthropic Anthropic 每天合并的改动从约 2,500 涨到 30,000:Claude 先做首轮评审,并用测试和浏览器交互产出验证证据,人看证据;确定性分析、agent 评审、供应链检查各抓不同类型的问题;PR 标注 agent 作者,但永远有一个具名的人负责。 AI Engineer · 2026-07-14 The engineer of the future is the person who chooses what is worth doing Addy Osmani · Anthropic agent 跑内循环(调查、实现、测试、汇报),人跑外循环(决定、验证、批准、负责);交接物是证据包。工程师的价值在于选择什么值得做、设计验证、对上线的东西「签字」,并警惕认知债务与认知投降。 AI Engineer · 2026-07-20 In the Land of AI Agents, the Verifiers Are King Tariq Shaukat · Sonar(CEO) 能跑的代码仍有缺陷,初期 3–5 倍的速度会在约三个月内消散回基线:要用「引导(上下文与约束)—验证(零信任、多层、多模型)—解决(修复 agent 持续维护)」包住代码生成,并把 agent 循环、CI 验证、持续维护三条回路连成系统。 AI Engineer · 2026-11-14 All Code Is Slop (Except Mine) Lauren Tan (poteto) · SpaceXSI · Grok Bot 团队 Grok Bot 的 Lauren Tan 个人 3–10 月合并 10,732 个 PR(从 3 月 68 个涨到 10 月 3,127 个),回滚率稳定在约 0.5%:每次纠正 agent,都把纠正变成代码里的确定性约束(API 设计、lint、目录约定),再叠加运行时和形式化验证,最后才写一点 prompt。 AI Engineer · 2026-10 Fixing the PR Bottleneck Matt Pocock · AI Hero 在 PR 到达人之前把它变好:识破「绿色 CI 证明了错的东西」,用深模块让 agent 写出有意义的测试,把编码规范放进独立的评审子 agent 直接提交修复,PR 描述写清「单向门/双向门」与爆炸半径,再用 retro 让同一条评审意见永远不写第二遍。 AI Engineer · 2026-11-11 225,000 Lines of Tests, Written and Merged by Agents Kush Agrawal · Duolingo Duolingo iOS(近 200 万行、单测覆盖 11%)的测试回填流水线:按「agent 能不能测好」给文件打分 → agent 写测试开 PR → 生命周期管理器每两小时对每个 PR 做一个决定 → 确定性规则拦截「改应用代码让测试通过」→ 人批准每次合并;700+ PR、22.5 万行测试。 AI Engineer · 2026-07-24 Building Closed-Loop Evals for a Multimodal Agent at Scale Soumya Gupta、Jai Chopra · Uber Uber Eats 改进商家菜品图的多模态 agent:理解与路由(增强还是跳过)→ 针对单张图生成编辑提示 → 多维 QA 闭环(失败带反馈重试、有上限)→ 独立的发布前 QA;路由用人工标注当混淆矩阵评测,生成用「原图 vs 新图」成对比较;生产抽样标注不一致时由诊断 agent 定位并自动调优,过金标集才能上线。 AI Engineer · 2026 Why AI Makes You 100x Faster but Not Your Company Mitchell Troyanovsky · Basis(联合创始人) 个人快 100 倍不等于公司快:给每个人一个 agent 会带来「能力缺口」(谁来管 skills、记忆、方法)和「信任缺口」;Basis 先写「行为规格」(可识别的触发条件 + 可观察的动作),在生产轨迹上检查这些行为,出错时在坏决策前后分叉复现,并按 agent 的履历和出错代价决定委托深度。 AI Engineer · 2026-07 Beating RL With Reflection: GEPA and Optimize Anything Lakshya A. Agrawal · GEPA(UC Berkeley) 不更新权重,而是让模型读完整的执行轨迹(中间输出、工具响应、错误)来反思并改写文本:GEPA 用帕累托候选池优化提示词;Optimize Anything 把同样的搜索扩展到程序、agent 和仓库 skills——ARC-AGI 上把 4 行程序进化成 6 步 agent(Gemini Flash 32.5% → 89.5%),学到的 skills 让 GPT-5 mini 的 Go 仓库修复从 24% 到 93%。 AI Engineer · 2026-10-24 AI Writes the Code. So What's Left for Engineers?(The Rise of the Product Engineer) Laurie Voss · Arize AI(npm 联合创始人) 代码变得几乎免费,瓶颈按「约束理论」一路后移:评审 → 运维 → 安全;最后留给人的是弄清用户要什么、定义什么是「好」——产品工程师。要有意识地培养它,并把最好的人的判断写进规格、rubric 和评测。 AI Engineer · 2026-07-10 Understanding is the new bottleneck Geoffrey Litt · Notion 即使 agent 能自己验证正确性,人仍要理解代码,因为理解决定你下一轮能想到什么;把每次改动当成一堂课:个性化讲解、提交评审前先自测、用可交互的「微世界」探索系统、团队在同一空间里共同学习。 AI Engineer · 2026-01 The Infinite Software Crisis Jake Nations · Netflix AI 是终极的「容易」按钮,而容易不等于简单:一长串对话会把每次澄清和转向都烤进架构。做法是「研究 → 计划 → 用干净上下文实现」三阶段,并在 AI 搞不定的纠缠系统上先手工做一次迁移,用它当种子。 AI Engineer · 2026-04-23 Software Fundamentals Matter More Than Ever Matt Pocock · AI Hero AI 编码的失败大多是老问题换了马甲:需求没对齐 → 用追问建立共享设计概念;语言不一致 → DDD 的通用语言;代码先写一大坨再验证 → 类型、浏览器、测试和 TDD 的小步反馈;代码库难改 → 深模块,人管接口、AI 管内部。

分歧与边界

代码评审会死吗?

Laurie Voss 认为逐条审批会消失,人的判断转移到 harness 里,最后的评审者是生产环境;Anthropic、OpenAI 和 Amazon 仍坚持每段合并代码有具名的人负责。现实是评审对象从 diff 变成证据。

理解还重要吗?

Geoffrey Litt 认为即使 agent 能证明正确,人仍需要理解代码;Addy Osmani 警惕「认知投降」。在速度与理解之间,多数演讲者选择把理解投资在架构、接口和高风险路径上。

Chapter E

工程基础设施:沙箱、算力、CI/CD 与安全

这一章回答agent 要在哪里运行、用什么权限、怎样接入 CI/CD 和预算?

隔离是第一原则。OpenHands 的 Robert Brennan 现场问谁在用「dangerously skip permissions」,举手的人比用本地 agent 的人还多——跳过权限的本地 agent 继承你账号的全部触达。他比较了四种方案:本地 Docker、GitHub Actions、专用机器、每会话一个 Kubernetes pod,结论是关键不在跑在哪,而在访问权限是否随任务收窄。OpenAI 的 Abhishek Bhardwaj 从第一性原理讲了沙箱云:容器共享内核,gVisor 在用户态实现内核接口,microVM 给来宾独立内核;再用写时复制的增量快照让「保存/回溯」成为 agent 的日常操作。

安全的威胁模型是 Simon Willison 的「致命三角」:私有数据、不可信内容、对外通信三者同时具备时,提示注入就会致命。Coder 给出三道护栏:在预先配置的远程工作区运行 agent、用模型代理检查/脱敏/记录 LLM 流量、用 agent 防火墙在执行前拒绝命令。OpenClaw 五个月收到 1,142 份安全通告,Steinberger 的经验是:只听主人、群聊进沙箱、团队 agent 只知道团队可见的信息。

CI/CD 正在被重新设计。Namespace 与 NEA 认为 PR + CI 是为人类设计的工作单元:agent 产出改动的速度远超验证,15 或 45 分钟的测试会拖住整个循环;先加速构建(缓存成为编排层),再把验证搬进持久工作环境、用预合并队列调和并行改动。Spotify 的经验是先补测试自动化——因为多数改动要在团队不看的情况下自动合并——然后每天约 4,500 次生产部署。OpenAI 和 Anthropic 都把长任务搬到了云端(Codex Cloud、Claude Code 网页版与 routines),因为大家已经在用 Mac mini 和 VPS 搭自己的机群。

成本是最后一块。Revolut 把自托管 GLM 设为 2,000 名工程师的默认编码模型,约 56 张 GPU,账单约为此前的十分之一,关键在按工作负载调服务参数(首 token 小于 3 秒、上下文长度、量化、KV cache)。Lance Martin 测出默认 harness 最多有 72% 的缓存节省空间。Reiner Pope 的黑板讲座解释了背后的物理:每个 token 的时间是访存与计算的较大者,长上下文主要吃内存带宽。

可以直接照做的

  • 每个任务列出它需要的仓库、密钥和工具,只给这些;长任务用每会话一次性环境。
  • 运行模型生成的不可信代码时优先 gVisor 或 microVM;把快照/回溯设计成日常操作。
  • 检查每个 agent 的致命三角,至少切断一条边(数据、不可信输入或外发)。
  • 模型流量经过组织网关;破坏性命令在执行前拦截,而不只是事后记录。
  • 把「agent 改完到拿到测试结果」的时间压到分钟级:增量构建、远程缓存、测试选择。
  • 并行 agent 多了以后用合并队列调和冲突。
  • 监控缓存命中率和每任务成本;规模化后评估自托管开源模型与路由。

代表演讲

AI Engineer · 2026-07-21 Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents Robert Brennan · OpenHands(All Hands AI,CEO) 比较四种隔离编码 agent 的方式——本地 Docker、GitHub Actions、专用机器、每会话一个 Kubernetes pod——关键不是「跑在哪」,而是 agent 的访问权限(仓库、密钥、工具)是否随任务收窄。 AI Engineer · 2026-07-22 From fork() to Fleet: Designing an Agent Sandbox Cloud Abhishek Bhardwaj · OpenAI(RL 与 agent 基础设施) 从第一性原理设计 agent 沙箱云:进程 → 容器(namespaces+cgroups,共享内核)→ gVisor(用户态应用内核)→ microVM(独立内核,cloud-hypervisor/crosvm 用 Rust、设备极少)→ 写时复制的增量快照与分层块存储 → 按负载与「离 harness 和存档近」调度到全球集群。 AI Engineer · 2026 The Lethal Trifecta Is Already on Your Laptops Michael Patterson · Coder Simon Willison 的「致命三角」(私有数据 + 不可信内容 + 对外通信)在每台跑编码 agent 的笔记本上都已成立;三道护栏:预先配置的远程工作区、模型代理(检查/脱敏/记录 LLM 流量)、agent 防火墙(执行前拒绝命令)。 AI Engineer · 2026-04 State of the Claw Peter Steinberger · OpenClaw(现 OpenAI) OpenClaw 五个月 3 万次提交、近 2000 位贡献者、1142 份安全通告:个人 agent 的安全靠访问边界(只听主人、群聊进沙箱、团队 agent 只知团队可见的信息),开源治理靠中立基金会,产品质量靠迭代、品味和敢于拒绝功能。 AI Engineer · 2026-04 CI/CD Is Dead, Agents Need Continuous Compute and Computers Hugo Santos、Madison Faulkner · Namespace / NEA 当 agent 产出改动的速度远超团队验证和合并的速度,PR + CI 这个为人类设计的工作单元就成了瓶颈:先加速构建与测试(缓存成为编排层),再把验证搬进持久的工作环境、用预合并队列调和并行改动——CI 不会消失,而是变成每轮迭代的一部分。 外部演讲 · 2026-06-29 How Spotify runs agents across 20M+ lines of code Niklas Gustavsson(对谈 Boris Cherny) · Spotify(首席架构师、工程副总裁) Spotify 2900 名工程师、2000 多万行代码:从确定性脚本的大规模迁移到基于 Claude Agent SDK 的 Honk 后台编码 agent;LLM 评委曾把 PR 成功率从 20–30% 提到 80%,模型变强后已移除评委;「验证是最重要的事」——因为要自动合并多数改动,先投资测试自动化;每天 4500 次生产部署、AI 带来的 PR 频率提升 75% 以上;给 CTO 的建议:为 agent 做标准化。 AI Engineer · 2026 How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models David Abitbol · Revolut(AI 运营负责人) Revolut 让自托管的 GLM 成为 2000 名工程师的默认编码模型:约 56 张 GPU,账单约为此前 Anthropic/OpenAI 的十分之一($0.30/百万 token、缓存命中免费);关键在为工作负载调优服务配置(首 token <3 秒、上下文长度、量化、KV cache、TP4 vs TP8),图像单独路由,并保留熟悉的 harness 与沙箱规则。 外部演讲 · 2026-04-29 How GPT, Claude, and Gemini are actually trained and served Reiner Pope(对谈 Dwarkesh Patel) · MatX(CEO,前 Google TPU 架构) 用几条公式、公开的 API 价格和粉笔推断前沿实验室在做什么:每个 token 的时间 = max(访存时间, 计算时间),批大小决定成本与速度(「每 20 毫秒发一班车」);MoE 的专家并行如何铺在 72 GPU 的机架上、稀疏度受机架内存约束;流水线并行解决容量、更大的 scale-up 解决带宽;因为 RL 和推理量,模型可能比 Chinchilla 最优过度训练约 100 倍;从长上下文定价反推 KV cache 成本。 外部演讲 · 2026-10-07 Codex Has Left The Laptop Dominik Kundel · OpenAI(开发者体验) 过去一年 Codex 发布了 300 多个功能,任务从 6 小时走向 24 小时以上,大家开始买 Mac mini、Raspberry Pi、租 VPS——DevDay 发布 Codex Cloud(云端环境,可接入 Tailscale 私网、自动生成安装脚本和启动 skill)、Dots(以你命名的个人 agent,是你的延伸)和 Slack/Teams 中的 @ChatGPT,全部共用同一个 Codex agent 与插件;加上代码评审标签页、Space 计划协作和 Web 端访问。 外部演讲 · 2026-10-07 ClawLabs: Building Open Source Together Peter Steinberger 等 · OpenAI / OpenClaw OpenClaw 作者讲小型开源团队如何与 agent 一起协作:从 CLI 分屏到 Codex 桌面应用;把开发搬进 OpenClaw 自己的协作服务器——每个人的 agent 会话彼此可见、可以互相提示,不再只靠 PR;用会话追溯「谁为什么改了表格」;仪表盘、循环监控反馈并自动修复、「slop 计量器」;并发布 OpenClaw Enterprise(控制面/数据面/网关分离,预设安全配置,内部已运行 400 多个 claw)。

分歧与边界

本地还是云端?

本地 agent 反馈快、能用你的登录态;云端环境可以并行、长跑、隔离。两家大厂都在把长任务推向云端,同时保留远程控制本地机器的能力。

Chapter F

模型:训练、微调、小模型与推理

这一章回答什么时候值得训练或微调自己的模型?

2026 年模型层最实用的信号是:窄任务上的专用模型已经可以打赢前沿模型。Ramp 让 Opus 继续做规划,把它反复提出的财务问答交给后训练的 35B Qwen 3.5,准确率 66.25% 高于 Opus 4.6 的 61.88%,延迟接近 Haiku;Google AI Edge 用合成数据微调 2.7 亿参数的 FunctionGemma,把应用函数调用成功率从约 46% 提到多数函数超过 90%;Liquid AI 用 28 万亿 token 训练一个 3.5 亿参数的端侧模型,并用偏好训练和 n-gram 重复惩罚压制「死循环」。

训练数据从哪里来?Will Brown(Prime Intellect)的答案是你已经有了:agent 今天被纠正、明天又犯同样的错,把纠正和情境一起保存,就是测试用例和训练样本;公司可以只训练系统里窄的一部分(路由、审批),用夜间空闲的推理算力训练。Modal 展示了 agent RL 的工程细节:把失败的生产轨迹变成可重试的任务,用带修正的异步 GRPO 容忍落后的采样器,只传稀疏权重增量实现跨云采样,混合 GPU 让 rollout 成本降 15%。不训练权重也能优化:GEPA 读执行轨迹改写提示和程序,ARC-AGI 上把 4 行程序进化成 6 步 agent。

更大的图景属于前沿实验室。Simon Willison 记录了「Fable 级」模型:只要定义好可实现的目标并提供工具,模型能连续工作十几个小时把问题解决;Diogo Almeida 认为 RLHF 让模型擅长「辅助」而不是「自动化」,下一步要为可校准的决策重新设计训练目标;Dwarkesh 认为 AI 研发高度模块化、可验证,递归自我改进已经开始。对多数团队,这意味着:围绕「能力会持续变强、变便宜」来设计系统,把评测做好,让每次升级都便宜。

可以直接照做的

  • 先找到规划 agent 反复问的那一类问题,单独度量准确率与延迟,再决定是否训练小模型。
  • 保存「纠正 + 情境」:先变成评测,积累够了再做微调或 RL。
  • 端侧或高频窄任务:用强模型生成合成数据,微调数亿参数的函数调用模型。
  • 评估小模型时专门测重复与死循环率,尤其是开启推理模式时。
  • 训练前先试反思式优化(GEPA/DSPy)改提示和 skills。
  • 自托管时按真实负载压测首 token 延迟和 KV cache,而不是看参数量。

代表演讲

AI Engineer · 2026 Our Smaller Model Beat Opus on Finance Tasks Alexander Shevchenko · Ramp Labs Ramp 的三种「省 agent 时间」做法:前沿模型继续做规划,把它反复问的财务问答交给后训练过的 35B Qwen 3.5(准确率 66.25% 高于 Opus 4.6 的 61.88%,速度接近 Haiku);为月末结账提前一晚把文档压进 KV cache「卡带」;用 1 万个并行 agent 做 MapReduce 式渗透测试,找到 7 个高危漏洞。 AI Engineer · 2026 Your Company Should Train Its Own AI Models Will Brown · Prime Intellect(应用研究负责人) agent 今天被纠正、明天又犯同样的错:把纠正和触发它的情境一起保存,变成测试用例和训练样本;公司可以只训练 agent 系统里窄的一部分(路由器、审批/决策模型),用夜间空闲的推理算力训练——约 30 万美元的一次训练,和招一名工程师是同一量级的决策。 AI Engineer · 2026 Training Your Own Agent Models With RL Is Now Practical Jason Mancuso · Modal 换模型只能在现有能力组合里挑;用 RL 训练自己的 agent 模型已可行:把失败的生产 trace 变成可重试的任务,用带三项修正的异步 GRPO 让落后的采样器样本仍可用,只传稀疏的权重增量实现跨云采样,混合不同 GPU 生成 rollout,训练依旧稳定且 rollout 成本降 15%。 AI Engineer · 2026-04 Everything I Learned Training Frontier Small Models Maxime Labonne · Liquid AI(预训练负责人) 端侧小模型(3.5 亿—240 亿参数)的设计逻辑:嵌入层别吃掉参数预算、在目标硬件上实测算子来选架构、3.5 亿参数也用 28 万亿 token 过度训练、SFT 只做很窄的任务、用偏好训练和 n-gram 重复惩罚压制「死循环」、把知识交给工具(搜索)而不是记在参数里。 AI Engineer · 2026-04 From 46% to 90%: Fine-Tuning Tiny LLMs for On-Device Agents Cormac Brick · Google AI Edge 端侧 agent 的两条路:用系统内置模型(Android AI Core 上的 Gemini Nano / Gemma 4)加按需加载的 skills;或在应用里自带专用小模型(LiteRT-LM 运行),用合成数据微调 2.7 亿参数的 FunctionGemma,把应用函数调用成功率从约 46% 提到 8/10 个函数超过 90%。 AI Engineer · 2026-07 Beating RL With Reflection: GEPA and Optimize Anything Lakshya A. Agrawal · GEPA(UC Berkeley) 不更新权重,而是让模型读完整的执行轨迹(中间输出、工具响应、错误)来反思并改写文本:GEPA 用帕累托候选池优化提示词;Optimize Anything 把同样的搜索扩展到程序、agent 和仓库 skills——ARC-AGI 上把 4 行程序进化成 6 步 agent(Gemini Flash 32.5% → 89.5%),学到的 skills 让 GPT-5 mini 的 Go 仓库修复从 24% 到 93%。 AI Engineer · 2026-07-31 What's next after RLHF?(Jev CEO: I made ChatGPT, now I'm building what's next) Diogo Almeida · TypeSafe AI(前 OpenAI,GPT-4 / InstructGPT 合著者) RLHF 优化的是「让回路里的人满意」,所以今天的 AI 极擅长「辅助」而不擅长「自动化」:模型错的时候也看起来是对的。Claude Code 仍属于辅助时代;下一步是为可校准的决策和真正的自动化重新设计训练目标。 AI Engineer · 2026-11 2026 in LLMs Simon Willison · Datasette 用三个拐点回顾过去 12 个月:① 2025 年 11 月编码 agent 变得每天可用;② 「Fable 级」模型——只要定义好目标并提供工具,模型能用近乎蛮力的方式连续工作十几个小时把问题解决;③ vibe coding 做出的游戏终于「好玩」了。轻松的活都被处理了,所以工作反而更难:「不会变容易,只会变快」。 外部演讲 · 2026-04-29 How GPT, Claude, and Gemini are actually trained and served Reiner Pope(对谈 Dwarkesh Patel) · MatX(CEO,前 Google TPU 架构) 用几条公式、公开的 API 价格和粉笔推断前沿实验室在做什么:每个 token 的时间 = max(访存时间, 计算时间),批大小决定成本与速度(「每 20 毫秒发一班车」);MoE 的专家并行如何铺在 72 GPU 的机架上、稀疏度受机架内存约束;流水线并行解决容量、更大的 scale-up 解决带宽;因为 RL 和推理量,模型可能比 Chinchilla 最优过度训练约 100 倍;从长上下文定价反推 KV cache 成本。 外部演讲 · 2026-11-13 Recursive self-improvement has started Dwarkesh Patel · Dwarkesh Podcast Dwarkesh 三个月内大幅更新观点:AI 已在加速 AI 研究;数学(在可验证领域快速超越顶尖人类、模型泛化到解决千禧年难题)是 AI 研究的预演——AI 研发高度模块化、有可验证的代理指标,适合「成群的持续爬坡 agent」;他认为距离顶尖人类水平的 AI 研究员也许只有几年甚至几个月;并逐一讨论持续学习、可验证代理、数据和实验算力等反对意见。 AI Engineer · 2026 How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models David Abitbol · Revolut(AI 运营负责人) Revolut 让自托管的 GLM 成为 2000 名工程师的默认编码模型:约 56 张 GPU,账单约为此前 Anthropic/OpenAI 的十分之一($0.30/百万 token、缓存命中免费);关键在为工作负载调优服务配置(首 token <3 秒、上下文长度、量化、KV cache、TP4 vs TP8),图像单独路由,并保留熟悉的 harness 与沙箱规则。

分歧与边界

训练还是等下一个模型?

Karpathy 和 Boris 的经验是很多 harness 技巧会被下一代模型吸收;Ramp 和 Will Brown 则证明窄任务上的专用模型在成本和准确率上都有持久优势。判断标准是任务是否稳定、可验证、量大。

Chapter G

机器人与物理 AI

这一章回答机器人是否正在迎来自己的「GPT 时刻」?

机器人缺少「动作数据的互联网」。Deepak Pathak(Skild AI)把可用的数据来源按三个标准衡量:可扩展、环境多样、贴近真实动作——遥操作贴近动作但昂贵且单一,仿真易扩展但场景要人造,人类视频多样但离机器人的动作空间远。他的配方是仿真和人类视频预训练求广度、少量高质量遥操作后训练求精度、部署经验回流形成飞轮。

NVIDIA 的 Jim Fan 把它叫作「大平行」:机器人照抄 LLM 的路线——世界模型预训练(预测下一个物理状态)、动作微调、物理 RL。他认为视频模型在规模上自发学到了重力和光照,VLA 会让位于「世界动作模型」;EgoScale 用 2.1 万小时第一人称人类视频加 4 小时遥操作,就能控制 22 自由度的灵巧手;「算力 = 环境 = 数据」。

Physical Intelligence 的 Chelsea Finn 关注的是可用性:机器人已经能叠衣服、做咖啡,难的是长时间可靠。她用人工介入纠正死路、跨任务的通用价值函数做 RL,让吞吐量提高约 2 倍、连续 13 小时做拿铁;π0.7 在所有多样数据上训练单一模型,开箱即可媲美微调专家,并出现组合泛化。对创业团队,她的建议是直接从开源的通用策略开始微调。

可以直接照做的

  • 用「吞吐量」(成功率 × 速度)和长时间无人值守运行衡量,而不是演示视频。
  • 从开源通用策略(π0 / π0.5、GR00T)微调起步。
  • 采集数据时优先多样性;关注手套、外骨骼等可扩展的人类数据采集方式。
  • 尽早部署以启动数据飞轮,不要等完美模型。

代表演讲

AI Engineer · 2026-07 Robotics Has Been Stuck for 70 Years Deepak Pathak · Skild AI / CMU 机器人没有「动作数据的互联网」:好的机器人数据要同时满足可扩展、环境多样、贴近真实动作三点;Skild 的配方是仿真与人类视频预训练求广度、少量高质量遥操作后训练求精度、部署经验回流训练形成飞轮,并在不同机器人本体之间共享学习。 外部演讲 · 2026-04-30 Robotics' End Game Jim Fan · NVIDIA(具身自主研究组 GEAR) 「大平行」:机器人照抄 LLM 的路线——世界模型预训练(预测下一个物理世界状态)→ 动作微调 → 物理 RL;视频模型在规模上自发学到重力、浮力、光照,VLA 让位于「世界动作模型」(DreamZero);遥操作让位于第一人称人类数据(EgoScale:2.1 万小时人类视频 + 4 小时遥操作);「算力 = 环境 = 数据」。 外部演讲 · 2026-08-12 This is the State of the Art in Robotics Chelsea Finn · Physical Intelligence(联合创始人)/ Stanford 机器人已经能叠衣服、做咖啡、收拾厨房,难点是长时间可靠、无人照看。Physical Intelligence 的答案:从经验中学习的 RL(人类介入纠正死路、通用价值函数跨任务摊销),把吞吐量提高约 2 倍、连续 13 小时做拿铁;多尺度记忆支撑长任务;π0.7 用所有多样数据和详细多模态提示训练单一模型,超过微调的专家模型并出现组合泛化——机器人的「GPT 时代」。 外部演讲 · 2026-03-20 Skill Issue: Code Agents, AutoResearch, and the Loopy Era of AI Andrej Karpathy(对谈 Sarah Guo) · Eureka Labs 一切都成了「skill issue」:把自己从回路里移出去,给 agent 一个目标、一个可评估的指标和边界,让它无人值守地跑——AutoResearch 通宵调 nanochat,找到了他凭二十年经验手工调参时漏掉的改进。

分歧与边界

遥操作还有未来吗?

Jim Fan 宣布「遥操作安息」,主张第一人称人类数据;Chelsea Finn 和 Deepak Pathak 仍把少量高质量遥操作用于后训练和纠错。分歧在比例,不在有无。

Chapter H

产品、团队与创业

这一章回答团队和公司要怎样改变,才能把个人效率变成组织产出?

组织数据比个人故事冷静得多。DX 约 20 万工程师的数据里,部署频率上升,但感知交付速度一年只提升约 4.5%,PR 平均从 44 行涨到 72 行;即使代码生成完美且瞬时,也只覆盖价值流的 14–16%。McKinsey 看到前 20–25% 的大企业端到端约快 2 倍,差别来自一两天的 agent 驱动周期(agent 上夜班、人第二天验证)、2–4 人的小组、策划过的共享 skills 和超越试点的变革管理。Amazon 的 Clare Liguori 给出五个习惯:维护 agent 上下文、投资代码库就绪度、给完成标准、动手前澄清意图、测试左移。

「全员」是关键词。Dan Shipper 说 90% 工程师用 AI 和 100% 用 AI 的组织有十倍差别——只要还有人用旧方式,整个流程就得迁就旧世界;Every 15 人运营 4 个产品、99% 的代码由 agent 写,靠的是「复利工程」:计划、委托、评估、固化,把学到的写回 CLAUDE.md、子 agent 和命令。Spotify 的建议是为 agent 做标准化:同一件事有 10 种写法,agent 就会更困惑。Claude Code 团队 70–80% 的工作通过 Slack 里的 Claude Tag 完成,委托在同事之间可见,大家互相学到更有野心的用法。

角色也在变化。Laurie Voss 认为最后留给人的是弄清用户要什么、定义什么是「好」——产品工程师;Natalie Meurer 讲前线部署工程师的职责一路演变到「对客户结果负责」,当产品按结果定价时,谁来保证结果成了核心问题;Ryan Carson 一个人用一个「工程经理」agent 管理约 20 个 builder,他慢下来的地方是看功能演示视频。Mike Krieger 讲 Anthropic Labs 每两周「坚持或转向」,几乎每轮都砍项目;他对创业的乐观在于:模型不会自动解决选题、品味、理解用户和触达用户。

可以直接照做的

  • 推动全员采用,并围绕 agent 重新设计流程、评审和规范,而不是「大多数人用」。
  • 统一代码库约定、框架和工具;把团队的关键方法(文档解析、对账规则)定在团队层面。
  • 试一两天的循环:agent 夜里实现,人白天验证并送回。
  • 用交付周期、按 PR 的缺陷率和每任务成本度量,而不是代码量或 token 数。
  • 每次修完 bug 或评审完 PR,问一句「能写进 skill、lint 或命令里吗」。
  • 公开委托(例如在频道里 @agent),让团队互相学习。
  • 小团队实验用固定节奏的「坚持或转向」,敢于频繁砍项目。

代表演讲

AI Engineer · 2026-09-30 The State of AI in Software Development: Data from 400+ Orgs Justin Reock · DX 约 20 万工程师的数据:部署频率上升,但感知交付速度一年只提升约 4.5%、变更失败率波动加大、PR 平均从 44 行涨到 72 行;即使代码生成完美且瞬时,也只覆盖价值流的 14–16%,要同时度量使用、影响和成本,并把开发者体验做成 agent 体验。 AI Engineer · 2026 What the Top Companies Do Differently With AI Coding Martin Harrysson、Prakhar Dixit(及 Shilpa) · McKinsey 多数大企业只报告了有限的提升,但前 20–25% 已看到端到端约 2 倍改进:它们用一两天的 agent 驱动周期替代两周冲刺(agent 上夜班、人第二天验证),组成 2–4 人的小组合并角色,策划共享的 skills 和上下文,把变革管理做到试点之外;构建变快后瓶颈转向需求与发布,质量与衡量仍是难点。 AI Engineer · 2026-08-28 From AI-Assisted to AI-Native: Building a Frontier Development Team Clare Liguori · AWS(Kiro) Amazon 的数据:6 人 76 天建成原估 30 人 18 个月的 Bedrock Mantle;50 个普通团队里表现好的一半部署速度中位数 4.5 倍。差别来自五个习惯:维护 agent 上下文、投资代码库就绪度、给 agent 完成标准、动手前澄清意图、把测试左移(确定性 mock)。 AI Engineer · 2026 Dispatch from the Future: Building an AI-native Company Dan Shipper · Every 90% 工程师用 AI 和 100% 用 AI 的组织有十倍差别:Every 15 人运营 4 个产品、99% 代码由 agent 写、每个应用一名开发者;「复利工程」——计划、委托、评估、固化(把学到的写回 CLAUDE.md、子 agent、斜杠命令),让每个功能都使下一个更容易。 外部演讲 · 2026-06-29 How Spotify runs agents across 20M+ lines of code Niklas Gustavsson(对谈 Boris Cherny) · Spotify(首席架构师、工程副总裁) Spotify 2900 名工程师、2000 多万行代码:从确定性脚本的大规模迁移到基于 Claude Agent SDK 的 Honk 后台编码 agent;LLM 评委曾把 PR 成功率从 20–30% 提到 80%,模型变强后已移除评委;「验证是最重要的事」——因为要自动合并多数改动,先投资测试自动化;每天 4500 次生产部署、AI 带来的 PR 频率提升 75% 以上;给 CTO 的建议:为 agent 做标准化。 AI Engineer · 2026-07 How Anthropic Builds: Lessons from Labs Mike Krieger · Anthropic Labs(Instagram 联合创始人) 从首席产品官转回个人贡献者的 Krieger 讲 Anthropic 的工作方式:按目标委托而不是按步骤指挥(「要求得离谱一点」);交互式 Claude Code 用于紧密迭代,Claude Tag 让异步委托在同事间可见;2000 行的 diff 仍需要人建立心智模型;Labs 每两周「坚持或转向」,几乎每轮都砍项目,项目负责人与人员管理分离。 AI Engineer · 2026-07-14 The engineer of the future is the person who chooses what is worth doing Addy Osmani · Anthropic agent 跑内循环(调查、实现、测试、汇报),人跑外循环(决定、验证、批准、负责);交接物是证据包。工程师的价值在于选择什么值得做、设计验证、对上线的东西「签字」,并警惕认知债务与认知投降。 AI Engineer · 2026-10-24 AI Writes the Code. So What's Left for Engineers?(The Rise of the Product Engineer) Laurie Voss · Arize AI(npm 联合创始人) 代码变得几乎免费,瓶颈按「约束理论」一路后移:评审 → 运维 → 安全;最后留给人的是弄清用户要什么、定义什么是「好」——产品工程师。要有意识地培养它,并把最好的人的判断写进规格、rubric 和评测。 AI Engineer · 2026-07 The Dirty Secret of Forward Deployed Engineering Natalie Meurer · Sierra 前线部署工程师(FDE)的职责一路演变:保持客户系统运行 → 集成数据 → 做可用的应用 → 教会客户(enablement)→ 对客户结果负责;当代码变便宜、产品按结果定价时,「谁来保证结果」成了核心问题,产品工程和客户工作正在合流。 AI Engineer · 2026-11-09 How One Founder Manages 20 AI Coding Agents at Once Ryan Carson · Untangle 人只负责和客户交流、决定什么重要;一个云端「工程经理」agent(主要用语音对话)管理约 20 个 builder:一工单一 PR、每 15 分钟巡检、评审最多三轮、单独的 QA 子会话、合并队列管理器;人慢下来的地方是看功能演示视频。 AI Engineer · 2026 Why AI Makes You 100x Faster but Not Your Company Mitchell Troyanovsky · Basis(联合创始人) 个人快 100 倍不等于公司快:给每个人一个 agent 会带来「能力缺口」(谁来管 skills、记忆、方法)和「信任缺口」;Basis 先写「行为规格」(可识别的触发条件 + 可观察的动作),在生产轨迹上检查这些行为,出错时在坏决策前后分叉复现,并按 agent 的履历和出错代价决定委托深度。 外部演讲 · 2026-04-30 OpenAI's Greg Brockman: Why Human Attention Is the New Bottleneck Greg Brockman(对谈 Alfred Lin) · OpenAI(联合创始人、总裁) Brockman:去年 12 月前后,agent 编码工具从写 20% 的代码变成写 80%,从副业变成主业,今年会扩展到所有电脑工作;一次性的大转变是「上下文」——开会不叫上 AI、却让它帮忙;人的注意力成为最稀缺资源;OpenAI 内部原则是每段合并的代码都要有人负责,并按部门(财务、销售、IT)由小团队构建 skills;agent 的「情商」还在培养——它两分钟没回音就去找了对方的经理。 外部演讲 · 2026-05-06 Code with Claude 2026: Opening Keynote Anthropic 产品与工程负责人 · Anthropic Anthropic 2026 开发者大会主题演讲:Claude Code 五小时速率限制翻倍(并与 SpaceX Colossus One 合作扩充算力);Opus 4.7 与 Claude Design;「把模型升级当成商业机会——让升级变便宜:自动评测、简单脚手架、有野心的原型」;Claude Managed Agents 的多 agent 编排、Outcomes(rubric + 独立评分 agent)与 Dreaming;Claude Code 走向 auto 模式、远程 agent 与 Routines——「我的很多代码是 routine 写的」。 AI Engineer · 2026-07-17 Every company should have a Brain Garry Tan · Y Combinator 把组织写成文件:skill = 一个岗位的一项能力,解析器表按任务加载对应指令,测试 = agent 的绩效考核;判断留在模型(潜空间),状态留在代码(确定性空间);「公司大脑」= 图书馆 + 图书管理员,记忆需要溯源、矛盾检查和清理;每次纠正完都把流程沉淀成 skill。 AI Engineer · 2026-04-26 Collaborative AI Engineering: One Dev, Two Dozen Agents, Zero Alignment Maggie Appleton · GitHub Next 一个人开二十几个 agent 只放大了个人产出,没有解决团队对齐:实现窗口坍缩后,原本用来对齐的时间也没了,结果是白做的工作和协调债。GitHub Next 的 Ace 把会话做成「多人对话 + 一台云端 microVM」,团队在同一个运行中的系统上讨论、改计划、再让 agent 实现。

分歧与边界

团队会变小吗?

Every 和 Ryan Carson 展示了极小团队的产出;McKinsey 和 Amazon 的数据则显示收益来自组织重构而非简单裁员——小组规模减半,可以让同样的人做更多并行工作。

注意力是新的瓶颈

Greg Brockman 认为人的注意力正在成为最稀缺的资源;Geoffrey Litt 和 Maggie Appleton 的回答是把理解与对齐做成团队的共同空间,而不是让每个人各自盯着二十个 agent。

开源项目、skills 与插件清单

从 2026 年全部官方演讲页的 2,481 个资源链接与 89 篇深读笔记中挑选;「引用」是在多少场演讲的资源列表里出现过。

编码 agent 与 harness

可以直接用、也值得读源码的 agent 实现。

  • OpenClaw 21 场演讲引用

    开源个人 agent(多渠道网关 + Codex/Claude 等 harness),2026 年被引用最多的项目;安全通告、沙箱与基金会治理也是公开学习材料。

  • pi 6 场演讲引用

    Mario Zechner 的极简编码 agent:极短系统提示、read/write/edit/bash 四个工具、可热重载的 TypeScript 扩展。

  • Codex CLI 4 场演讲引用

    OpenAI 开源的 Codex harness(Rust),可读到上下文构建、沙箱、压缩与 /goal 循环的实现。

  • Cline 2 场演讲引用

    开源编码 agent(IDE、CLI、SDK);其「让强模型读失败轨迹、改 harness」实验把 Terminal-Bench 从 69/89 提到 79/89。

  • OpenCode 2 场演讲引用

    开源终端编码 agent,多模型可切换。

  • Goose 2 场演讲引用

    开源桌面/命令行 agent,基于 MCP 扩展,现由 Agentic AI Foundation 托管。

  • OpenHands 1 场演讲引用

    开源编码 agent 平台,默认每个会话一个隔离环境。

  • Hermes Agent 8 场演讲引用

    Nous Research 的 agent:持久记忆、从经验沉淀 skills、对话搜索与子 agent 委托。

  • Deep Agents 2 场演讲引用

    LangChain 的 agent harness:子 agent 委托、文件系统工具与上下文管理。

  • Paperclip 3 场演讲引用

    开源 agent 编排平台:任务归属、执行锁、审批与预算。

  • acpx 2 场演讲引用

    持久 ACP agent 会话的命令行工具,支持结构化输出与可执行工作流。

  • Claude Agent SDK(TypeScript) 1 场演讲引用

    把 Claude Code 的 harness 作为库使用:Bash、文件系统、子 agent、hooks。

  • Claude Agent SDK(Python) 1 场演讲引用

    同上,Python 版本。

Skills、规范与插件

把团队知识打包给 agent 的格式与现成合集。

  • Agent Skills 规范 9 场演讲引用

    SKILL.md 的开放规范:描述常驻、正文按需加载、可附脚本与资源。

  • AGENTS.md 7 场演讲引用

    给编码 agent 的仓库说明约定,Codex、Cursor 等多家工具支持。

  • anthropics/skills 2 场演讲引用

    Anthropic 的示例 skills 与模板。

  • mattpocock/skills 4 场演讲引用

    Matt Pocock 的工作流 skills:grill-me、to-prd、to-issues、tdd、triage 等。

  • Vercel Skills CLI 4 场演讲引用

    安装与管理 skills 的命令行工具,可从一个仓库挑选多个 skill。

  • Hugging Face Skills 3 场演讲引用

    Hugging Face 工作流的 agent skills(含 hf-cli)。

  • Gemini API skills 4 场演讲引用

    面向 Gemini API 的编码 agent 指南(实时音视频、工具调用、会话管理)。

  • Compound Engineering 插件 2 场演讲引用

    Every 的「复利工程」插件:计划、委托、评估、固化的命令与子 agent。

  • Bright Data skills 2 场演讲引用

    网页数据采集与 MCP 编排的 agent skills。

MCP、工具与生成式界面

让 agent 触达外部系统、并把结果呈现为界面。

  • MCP Apps(ext-apps) 8 场演讲引用

    MCP 的界面扩展:服务端同时交付工具与可交互界面,带沙箱与消息通道。

  • GitHub MCP Server 3 场演讲引用

    GitHub 官方 MCP 服务器。

  • Playwright MCP 5 场演讲引用

    微软官方浏览器自动化 MCP:可访问性快照、截图,常用于让 agent 自己验证前端。

  • Chrome DevTools MCP 2 场演讲引用

    让 agent 调试真实 Chrome:控制台、网络、性能。

  • FastMCP 2 场演讲引用

    Python 的 MCP 服务端框架。

  • Context7 2 场演讲引用

    给编码 agent 拉取最新库文档与示例代码。

  • WebMCP 3 场演讲引用

    让网页把操作暴露成结构化工具的浏览器提案,而不是让 agent 点像素。

  • Excalidraw MCP App 2 场演讲引用

    MCP App 示例:人与 agent 共同编辑的图。

  • AG-UI 协议 1 场演讲引用

    agent 与前端之间的事件协议。

  • json-render 2 场演讲引用

    声明式生成 UI:模型输出 JSON,由应用自己的组件目录渲染。

  • Composio 1 场演讲引用

    把常用 SaaS 变成 agent 工具,并返回推荐调用顺序。

  • Cloudflare Agents SDK 2 场演讲引用

    在 Cloudflare 上构建有状态 agent 的 SDK。

上下文、记忆与检索

压缩、组织和检索 agent 需要的知识。

  • Neo4j Agent Memory 3 场演讲引用

    把对话、领域知识与推理轨迹存成图,可从成功运行蒸馏 skill。

  • Headroom 2 场演讲引用

    压缩工具输出、文件与检索内容,减轻上下文负担(库、代理与 MCP 三种接入)。

  • RLM(Recursive Language Models) 2 场演讲引用

    把长输入放进外部 REPL 环境、递归调用模型处理的参考实现。

  • Engineering Social Graph 3 场演讲引用

    从 PR 与 Git 历史构建「谁懂什么」的协作图,给 agent 找对人。

  • Karpathy:LLM Wiki 4 场演讲引用

    让 LLM 维护个人知识库(Markdown wiki)的做法说明。

评测、优化与基准

衡量 agent 是否变好,并自动优化提示与程序。

  • GEPA 10 场演讲引用

    反思式提示/程序优化:读完整轨迹改文本,帕累托候选池;Optimize Anything 可优化 skills 与 agent 程序。

  • DSPy 4 场演讲引用

    用程序而非提示词构建 LLM 系统,内置 GEPA 等优化器。

  • Verifiers 5 场演讲引用

    同一任务既能做评测又能做 RL 训练的环境库。

  • τ-bench 3 场演讲引用

    带用户模拟器的工具使用 agent 基准。

  • Harbor 2 场演讲引用

    在沙箱中运行 agent 评测的开源框架。

  • Arize Phoenix 3 场演讲引用

    可本地运行的 LLM 观测与评测平台:追踪、数据集、实验。

  • SWE-bench 2 场演讲引用

    真实 GitHub issue 修复基准。

  • Terminal-Bench 4 场演讲引用

    终端任务 agent 基准(89 个隔离任务)。

  • OSWorld 2 场演讲引用

    桌面电脑使用 agent 基准。

  • METR 任务时长视野 8 场演讲引用

    按人类专家完成时间衡量 agent 能完成多长的任务。

沙箱、算力与推理

隔离执行、远程工作区与自托管推理。

  • Firecracker 2 场演讲引用

    AWS 开源的 microVM,常用于 agent 沙箱与快照。

  • gVisor 1 场演讲引用

    用户态应用内核,在容器与 VM 之间提供更强隔离。

  • Cloud Hypervisor 1 场演讲引用

    Rust 编写、设备精简的 VMM。

  • Arrakis 1 场演讲引用

    自托管 microVM agent 沙箱:回溯快照、computer use、Python SDK。

  • Coder 1 场演讲引用

    开源云开发环境(Terraform 配置),把 agent 放进受控的远程工作区。

  • vLLM 2 场演讲引用

    高吞吐推理引擎,自托管开源模型的常见选择。

  • Docker Sandboxes 4 场演讲引用

    在本地用容器隔离编码 agent。

模型训练、小模型与端侧

从自动研究循环到端侧函数调用模型。

  • autoresearch 7 场演讲引用

    Karpathy 的单 GPU 自动研究循环:agent 改训练代码、按验证指标保留改动。

  • prime-rl 3 场演讲引用

    开源 RL 训练框架,支持 agent 式多轮 RL。

  • LiteRT-LM 5 场演讲引用

    在手机等端侧运行语言模型的运行时。

  • Google AI Edge Gallery 7 场演讲引用

    在 Android/iOS 本地运行模型与 skills 的试验场。

  • FunctionGemma 270M 1 场演讲引用

    2.7 亿参数的函数调用模型,适合微调成应用专用 agent。

  • LFM2.5-350M 1 场演讲引用

    Liquid AI 的 3.5 亿参数端侧模型(28 万亿 token 训练)。

  • OpenEnv 2 场演讲引用

    容器化的 agent 训练/评测环境集合。

  • parameter-golf 2 场演讲引用

    OpenAI 的小模型训练竞赛:在极小参数预算下比拼。

  • MLX-VLM 2 场演讲引用

    在 Mac 上本地推理与微调多模态模型。

  • Whisper 2 场演讲引用

    语音识别模型;本研究的转录用其 MLX 版本完成。

机器人、视觉与语音

物理 AI 与多模态 agent 的开源基础。

  • openpi(π0 / π0.5) 1 场演讲引用

    Physical Intelligence 开源的通用机器人策略,可直接微调。

  • Isaac GR00T 1 场演讲引用

    NVIDIA 的人形机器人基础模型。

  • SAM 3 2 场演讲引用

    文本/视觉提示的图像分割与视频跟踪。

  • Pipecat 2 场演讲引用

    实时语音与多模态 agent 的 Python 框架。

  • RF-DETR 2 场演讲引用

    实时目标检测与分割模型。

延伸资源:AIE 之外的高质量材料

下面 20 场外部演讲与 AIE 演讲同等深度阅读(点进去看要点与截图);再往下是值得长期订阅的频道与作者。

20 场外部深读

外部演讲 · 2026-02-12 OpenClaw: The Viral AI Agent that Broke the Internet Peter Steinberger(对谈 Lex Fridman) · OpenClaw 作者 OpenClaw(GitHub 史上增长最快的开源项目之一)的作者讲:让 agent 知道自己的源码、harness、文档和所用模型,于是它能自我修改;「vibe coding 是贬义词,我做的是 agentic engineering」;从 Claude Code 到多窗口多订阅并行、几乎不用 IDE、不读「无聊的代码」但必读涉及数据库的部分;用你对系统的理解引导 agent 看它还没看的地方;安全靠沙箱与白名单;「agent 会让 80% 的 App 过时」。 外部演讲 · 2026-03-20 Skill Issue: Code Agents, AutoResearch, and the Loopy Era of AI Andrej Karpathy(对谈 Sarah Guo) · Eureka Labs 一切都成了「skill issue」:把自己从回路里移出去,给 agent 一个目标、一个可评估的指标和边界,让它无人值守地跑——AutoResearch 通宵调 nanochat,找到了他凭二十年经验手工调参时漏掉的改进。 外部演讲 · 2026-04-29 From Vibe Coding to Agentic Engineering Andrej Karpathy(对谈 Stephanie Zhan) · Eureka Labs Vibe coding 抬高了下限,agentic engineering 守住专业软件的质量线、把上限推得更高;LLM 能自动化的是「可验证」的事,人保留的是品味、规格和理解。 外部演讲 · 2026-04-29 How GPT, Claude, and Gemini are actually trained and served Reiner Pope(对谈 Dwarkesh Patel) · MatX(CEO,前 Google TPU 架构) 用几条公式、公开的 API 价格和粉笔推断前沿实验室在做什么:每个 token 的时间 = max(访存时间, 计算时间),批大小决定成本与速度(「每 20 毫秒发一班车」);MoE 的专家并行如何铺在 72 GPU 的机架上、稀疏度受机架内存约束;流水线并行解决容量、更大的 scale-up 解决带宽;因为 RL 和推理量,模型可能比 Chinchilla 最优过度训练约 100 倍;从长上下文定价反推 KV cache 成本。 外部演讲 · 2026-04-30 Robotics' End Game Jim Fan · NVIDIA(具身自主研究组 GEAR) 「大平行」:机器人照抄 LLM 的路线——世界模型预训练(预测下一个物理世界状态)→ 动作微调 → 物理 RL;视频模型在规模上自发学到重力、浮力、光照,VLA 让位于「世界动作模型」(DreamZero);遥操作让位于第一人称人类数据(EgoScale:2.1 万小时人类视频 + 4 小时遥操作);「算力 = 环境 = 数据」。 外部演讲 · 2026-04-30 OpenAI's Greg Brockman: Why Human Attention Is the New Bottleneck Greg Brockman(对谈 Alfred Lin) · OpenAI(联合创始人、总裁) Brockman:去年 12 月前后,agent 编码工具从写 20% 的代码变成写 80%,从副业变成主业,今年会扩展到所有电脑工作;一次性的大转变是「上下文」——开会不叫上 AI、却让它帮忙;人的注意力成为最稀缺资源;OpenAI 内部原则是每段合并的代码都要有人负责,并按部门(财务、销售、IT)由小团队构建 skills;agent 的「情商」还在培养——它两分钟没回音就去找了对方的经理。 外部演讲 · 2026-05-04 Why Coding Is Solved, and What Comes Next Boris Cherny(对谈 Lauren Reeder) · Anthropic · Claude Code 创造者 Boris 2026 年没写过一行代码,每天用手机发几十个 PR:/loop 定时循环是「最简单但有效」的编排方式;未来是跨学科的通才、10 倍于今天的颠覆式创业公司,软件会像读写一样普及。 外部演讲 · 2026-05-06 Code with Claude 2026: Opening Keynote Anthropic 产品与工程负责人 · Anthropic Anthropic 2026 开发者大会主题演讲:Claude Code 五小时速率限制翻倍(并与 SpaceX Colossus One 合作扩充算力);Opus 4.7 与 Claude Design;「把模型升级当成商业机会——让升级变便宜:自动评测、简单脚手架、有野心的原型」;Claude Managed Agents 的多 agent 编排、Outcomes(rubric + 独立评分 agent)与 Dreaming;Claude Code 走向 auto 模式、远程 agent 与 Routines——「我的很多代码是 routine 写的」。 外部演讲 · 2026-05-20 Stop babysitting your agents Sid Bidasaria · Anthropic(Claude Code 团队) 别再盯着屏幕当 Claude 的 QA:三个相互叠加的模式——验证(教 Claude 自己检查工作:起开发服务器、用浏览器或 curl 驱动、看日志和数据库,打包成可自我改进的验证 skill)、并行(桌面应用/worktree/云端/远程控制管理多个 Claude)、后台循环(/loop 每 10 分钟照看 PR,Routines 在云端按时间或事件触发)。 外部演讲 · 2026-05-22 The prompting playbook Margot van Laar · Anthropic(应用 AI,伦敦) 两个实战场景:修复一个在生产中堆积数月、无人负责的客服提示(先建含「对照/边界/能力边界」的测试集,再整理结构、加输出契约和停止序列、删掉为旧模型打的补丁、把计算交给工具、给升级规则「两面的代价」);以及从零构建排班 agent(简单提示 → 更大模型 → 自适应思考 → 生成—评估—修复循环)。 外部演讲 · 2026-05-22 Beyond the basics with Claude Code Daisy Hollman · Anthropic(Claude Code 团队) Claude Code 团队工程师讲「agentic 软件工程」:Claude 做不了你能做的事,就没法和你一起工作——工作散落在 Slack、仪表盘、文档里;权重冻结,只能靠上下文定制;把上下文窗口当作「打包目标」(稳定内容在前、易变内容在后,KV cache 是第二个约束);四种插件原语(skills、MCP、hooks、subagents)各自的规模化代价;用 worktree 多开 Claude、长期队友互发消息、/loop 自动照看 PR。 外部演讲 · 2026-05-23 Tool, skill, or subagent? Decomposing an agent that outgrew its prompt William Steuk · Anthropic Applied AI 一个「400 行提示 + 12 个工具 + 3 个子 agent」的库存 agent,改成「15 行提示 + 5 个按需加载的 skill + Bash/Read/Write + 1 个原生子 agent」后,评测从 71% 升到 92%,成本降 84%。 外部演讲 · 2026-06-29 How Spotify runs agents across 20M+ lines of code Niklas Gustavsson(对谈 Boris Cherny) · Spotify(首席架构师、工程副总裁) Spotify 2900 名工程师、2000 多万行代码:从确定性脚本的大规模迁移到基于 Claude Agent SDK 的 Honk 后台编码 agent;LLM 评委曾把 PR 成功率从 20–30% 提到 80%,模型变强后已移除评委;「验证是最重要的事」——因为要自动合并多数改动,先投资测试自动化;每天 4500 次生产部署、AI 带来的 PR 频率提升 75% 以上;给 CTO 的建议:为 agent 做标准化。 外部演讲 · 2026-07-27 We Cut 80% of Claude Code's Prompt Boris Cherny(对谈 Diana Hu) · Anthropic · Claude Code 每次新模型发布都做「消融」:删掉系统提示、CLAUDE.md、skills、hooks,看模型反复卡在哪再一行行加回;给模型比你以为它能做的更难的任务、给它验证手段,然后放手——Bun 从 Zig 重写成 Rust 用一个动态 workflow 跑了 11 天。 外部演讲 · 2026-08-12 This is the State of the Art in Robotics Chelsea Finn · Physical Intelligence(联合创始人)/ Stanford 机器人已经能叠衣服、做咖啡、收拾厨房,难点是长时间可靠、无人照看。Physical Intelligence 的答案:从经验中学习的 RL(人类介入纠正死路、通用价值函数跨任务摊销),把吞吐量提高约 2 倍、连续 13 小时做拿铁;多尺度记忆支撑长任务;π0.7 用所有多样数据和详细多模态提示训练单一模型,超过微调的专家模型并出现组合泛化——机器人的「GPT 时代」。 外部演讲 · 2026-09-02 How the Claude Code team uses Claude Code Thariq Shihipar、Sid Bidasaria、Robert Boyce · Anthropic Claude Code 团队 Claude Code 团队 70–80% 的工作通过 Slack 里的 Claude Tag 完成:给目标而不是给任务,把 agent 放到云端跑循环和例行任务,用扇出 + 对抗式复核做评审,并在模型变强后删掉过时的 harness 功能。 外部演讲 · 2026-09-29 Claude Code's Bitter Lesson: Prompts, Harnesses, Mods, and Agents Thariq Shihipar · Anthropic(Claude Code 团队) Claude Code 团队的 Thariq 谈 harness 的「苦涩教训」:harness 过时得很快且变化方式反直觉;CLAUDE.md 最终可能消失(新项目甚至可以先不写,只在反复失败时加),而且它随模型变化;前期花 30 分钟写好长提示比事后反复返工更省额度;「足够高级的提示与足够高级的高管沟通无法区分」(SCQA);Ask User Question、HTML 产物、Claude Tag 频道按功能划分;Claude Mods 让你定制整个 harness 的执行与界面——可变软件的预览。 外部演讲 · 2026-10-07 Codex Has Left The Laptop Dominik Kundel · OpenAI(开发者体验) 过去一年 Codex 发布了 300 多个功能,任务从 6 小时走向 24 小时以上,大家开始买 Mac mini、Raspberry Pi、租 VPS——DevDay 发布 Codex Cloud(云端环境,可接入 Tailscale 私网、自动生成安装脚本和启动 skill)、Dots(以你命名的个人 agent,是你的延伸)和 Slack/Teams 中的 @ChatGPT,全部共用同一个 Codex agent 与插件;加上代码评审标签页、Space 计划协作和 Web 端访问。 外部演讲 · 2026-10-07 ClawLabs: Building Open Source Together Peter Steinberger 等 · OpenAI / OpenClaw OpenClaw 作者讲小型开源团队如何与 agent 一起协作:从 CLI 分屏到 Codex 桌面应用;把开发搬进 OpenClaw 自己的协作服务器——每个人的 agent 会话彼此可见、可以互相提示,不再只靠 PR;用会话追溯「谁为什么改了表格」;仪表盘、循环监控反馈并自动修复、「slop 计量器」;并发布 OpenClaw Enterprise(控制面/数据面/网关分离,预设安全配置,内部已运行 400 多个 claw)。 外部演讲 · 2026-11-11 What Comes After Loops? Deep Dive Into Agentic Architecture Raj Bhatek、Eric Provencher · OpenAI(应用 AI / Codex DX) agent 架构的演进:模型 + harness 联合训练(Codex)→ 把压缩(compaction)训练进模型 → 「循环工程」与 /goal(目标存在上下文之外、跨压缩持续)→ GPT-5.6 把「坚持」训练进模型 → Ultra 让 Codex 自己复制并协作 → 协调、结对、经理等 skill 组织子 agent → 跨团队交流的大规模 agent 团队(他们称在 Navier-Stokes 等问题上取得结果)。另一招:让 agent 维护一份简洁的工作日志(总目标、进行中的工作、最新指示与两者的关系)。 外部演讲 · 2026-11-13 Recursive self-improvement has started Dwarkesh Patel · Dwarkesh Podcast Dwarkesh 三个月内大幅更新观点:AI 已在加速 AI 研究;数学(在可验证领域快速超越顶尖人类、模型泛化到解决千禧年难题)是 AI 研究的预演——AI 研发高度模块化、有可验证的代理指标,适合「成群的持续爬坡 agent」;他认为距离顶尖人类水平的 AI 研究员也许只有几年甚至几个月;并逐一讨论持续学习、可验证代理、数据和实验算力等反对意见。

第一手:会议与官方频道

长访谈与播客

  • Latent Space

    swyx 主持,AI 工程最密集的长访谈(本研究收录 Thariq 谈 Claude Code 的苦涩教训)。

  • Dwarkesh Podcast

    前沿实验室与研究者的深度访谈;Reiner Pope 的推理经济学黑板讲座尤其值得反复看。

  • Lex Fridman Podcast

    与 OpenClaw 作者 Peter Steinberger 的三小时访谈(附完整文字稿)。

值得长期订阅的个人写作

  • Simon Willison

    每天记录 LLM 进展、提示注入与工具实践;「致命三角」的出处。

  • Andrej Karpathy

    vibe coding、agentic engineering 与 AutoResearch 的提出者。

  • Peter Steinberger

    「Just Talk To It」等 agentic engineering 工作流文章。

  • Every · Chain of Thought

    Dan Shipper 的复利工程与 AI 原生公司实践。

  • Interconnects(Nathan Lambert)

    后训练、RL 与开源模型的深度分析,补足本研究模型章节。

  • Lilian Weng

    agent、强化学习、幻觉等主题的长篇综述。

  • Hamel Husain

    LLM 评测与误差分析的实践指南,与 D 章互补。

  • Chip Huyen

    AI 工程系统设计与生产实践。

  • METR

    任务时长视野等 agent 能力度量,演讲中被反复引用。

全部 942 场演讲目录

每个视频都读了字幕:有中文一句话、主题标签,以及 2–3 条「可以学到 / 用在工作里」的做法。可按主题筛选,搜索也会匹配这些要点;深读过的演讲链接到站内详情页。

主题分布(一个视频可属于多个主题)

打开完整目录(942 · 约 396 小时视频)→

方法与局限

范围:AI Engineer 频道 2026 年 1 月 1 日至 11 月 17 日上传的 942 个视频(用 yt-dlp 读取频道列表与元数据并逐个确认上传日期)。

逐个读字幕:深读之外的 876 个视频,851 个用 ai.engineer 官方校对字幕,25 个没有官方稿的用 MLX Whisper 本地转录(合计约 2,100 万字符)。每个视频生成一份阅读包——官方摘要、章节标题、官方要点,以及按信息量从字幕里挑出的 3–4 句原话——再逐个写出一句话摘要和 2–3 条「可以学到 / 用在工作里」的做法,放在目录页每一条下面。

深读:按播放量、主题覆盖和用户关心的方向(Claude Code、Codex、harness、软件工厂、评测、训练、机器人、团队)选出 69 场 AIE 演讲,加上 20 场外部演讲。每场都用 MLX Whisper 本地转录;有幻灯片的演讲每 4 秒抽帧,用 macOS Vision 做 OCR 并按文字相似度去重,保留关键页;再对照 ai.engineer 官方校对稿与资源列表,写成带时间戳的要点、可落地的做法和资源。

开源清单:汇总 2026 年全部官方演讲页的资源列表(2,481 个链接、446 个 GitHub 仓库)与深读笔记,按引用次数和相关性挑选 71 项,并逐一检查链接可访问。

局限

  • 演讲中的数字、模型名与强论断(例如某实验室宣称解决了长期数学问题)归属于演讲者,未经独立验证。
  • 外部长播客(Lex Fridman、Latent Space、Dwarkesh 讲座)为按章节节选阅读,详情页已标注。
  • ASR 可能把人名和产品名听错;已用幻灯片 OCR 与官方稿校正主要名称,仍可能有遗漏。
  • 目录要点基于字幕抽取句与官方章节,不是逐字精读;逐字转录、截图与 OCR 核对只针对 89 场深读。
  • 截图每场最多 3 张、缩小到 800px,仅用于评论与学习,版权归原演讲者与主办方;完整内容请看原视频。
  • 快照日期 2026-11-17,之后上传的视频未纳入。

更新于 2026-11-18 · Steven Guan