No Priors 播客

Skill Issue: Code Agents, AutoResearch, and the Loopy Era of AI

Andrej Karpathy(对谈 Sarah Guo) · Eureka Labs

2026-03-20 · 67分钟 · 105 万次观看 · No Priors: AI, Machine Learning, Tech, & Startups

一切都成了「skill issue」:把自己从回路里移出去,给 agent 一个目标、一个可评估的指标和边界,让它无人值守地跑——AutoResearch 通宵调 nanochat,找到了他凭二十年经验手工调参时漏掉的改进。

观看原视频 ↗

内容概要

Karpathy 自 2025 年 12 月起几乎没再手写代码,从「80% 自己写」变成「绝大部分交给 agent」,瓶颈从算力变成了自己的 token 吞吐和驾驭能力。他把 OpenClaw 这类常驻、带记忆、能在沙箱里替你做事的「claw」视为下一层,并用家里的 Dobby(局域网扫描接管 Sonos、灯光、空调、泳池、安防,WhatsApp 对话)说明很多 app 本不该存在、应只暴露 API。AutoResearch 的核心是:目标 + 指标 + 边界,然后 go;program.md 描述研究组织,未来可以对它做元优化,甚至用「不可信算力池 + 可信验证」的方式让全球算力协作。他也强调局限:只适用于可客观评估的任务;模型仍然参差(joke 还停在 5 年前);开源大约落后前沿 6–8 个月是健康的格局;物理世界会落后数字世界,机会先在数字与物理的接口(传感器、执行器)。

要点(点击时间跳到原视频)

  1. 1:20

    2025 年 12 月发生翻转:从八成自己写代码变成绝大部分委托给 agent,他说自那以后几乎没敲过一行代码。普通人还没意识到软件工程师的默认工作流已经彻底变了。

  2. 3:50

    做不成时多半是「skill issue」:AGENTS.md 写得不够好、记忆工具不够好。高手像 Peter Steinberger:屏幕上平铺多个 Codex,10 个仓库各自用高推理档跑约 20 分钟,人只在宏观动作上分派和审阅。

  3. 5:30

    瓶颈转移:以前读博时 GPU 空着会焦虑,现在订阅额度没用完会焦虑;真正的约束变成你的 token 吞吐和驾驭能力。精通的方向是往上走:多 agent 协作,以及更持久的「claw」。

  4. 7:32

    他认为 OpenClaw 同时在五个方面做了创新:精心设计的人格(SOUL.md)、比默认压缩更好的记忆系统、单一 WhatsApp 入口、自动化循环等;人格很重要,Claude 像队友,Codex 编码 agent 偏「干」。

  5. 9:20

    家里的 Dobby:agent 扫描局域网找到 Sonos(没有密码)、逆向出 API,三条提示就能放音乐;随后接管灯光、空调、遮阳、泳池和安防,摄像头先做变化检测再用 Qwen 看图,通过 WhatsApp 告诉他「FedEx 来了」。六个 app 都不用了。

  6. 13:10

    很多 app 不该存在:家居、跑步机都应该只暴露 API,由 agent 做「智能胶水」。客户不再是人,而是代表人的 agent,整个行业要为此重构;一两年后这种事不再需要 vibe coding,而是标配。

  7. 16:33

    要用好今天的工具,必须把自己从瓶颈位置移走:偶尔投入少量 token,大量工作自动发生。AutoResearch 就是「目标 + 指标 + 能做和不能做的边界,然后 go」。

  8. 18:20

    他在已经手调很久的 nanochat 上跑一夜 AutoResearch,找到了遗漏的 value embedding 权重衰减和没调好的 Adam beta,而且这些参数相互影响。前沿实验室的方向是在小模型上自动化探索、再按 scaling law 外推,研究员贡献想法、由 worker 队列执行。

  9. 19:50

    program.md 就是一个研究组织的描述:角色、流程、风险偏好都是 markdown 代码,可以比赛谁的 program.md 在同样硬件上提升最多,再让模型写更好的版本——层层套娃的元优化。

  10. 22:50

    局限一:只适合有客观、易评估指标的任务(例如写更快但行为不变的 CUDA kernel);不能评估就不能 AutoResearch。局限二:模型仍然参差——像系统程序员 PhD 和十岁小孩的混合,软性、需要揣摩意图、何时提问的事情仍然差。

  11. 26:00

    问 ChatGPT 讲个笑话,还是五年前那个「原子什么都编」。因为笑话不在 RL 优化范围内——在可验证回路里飞速,在外面就原地踏步。

  12. 28:50

    预计会有更多模型「物种分化」:保留认知内核的小模型在特定领域特化(如 Lean 数学),但现在实验室还是单一模型;动权重(微调不丢能力、持续学习)的科学还不成熟,上下文窗口仍是最便宜的定制方式。

  13. 33:20

    AutoResearch@home:搜索很贵、验证很便宜的问题(像 Folding@home),可以让不可信的全球算力池提交 commit、可信节点验证,结构有点像区块链;也许你不捐钱而是买算力加入某个癌症研究的 auto research 赛道。

  14. 45:20

    Jevons 悖论:软件因稀缺而昂贵,成本下降后需求会上升;他对软件工程需求谨慎乐观。数字工作会以「光速」重构,物理世界滞后。

  15. 49:20

    开源模型落后前沿约 6–8 个月,他认为这是健康的权力平衡:前沿闭源做诺奖级难题和大迁移,开源吃掉大量基础用例并能本地运行;中心化有很差的历史记录,他希望有更多前沿实验室。

  16. 53:20

    机器人:从自动驾驶经验看,物理世界需要巨额资本和时间,会落后;更早的机会在数字与物理的接口——传感器(实验设备、付费采集数据、信息市场)和执行器,例如 Periodic 做材料科学的 AutoResearch。

  17. 1:01:00

    microGPT:训练 LLM 的算法本质只要约 200 行 Python。他不再为人录讲解,而是「讲给 agent 听」:给库写面向 agent 的 markdown 文档,用 skill 编排教学顺序,让 agent 按每个人的水平无限耐心地讲。你的价值是 agent 做不到的那几比特。

可以用在日常工作里的

  • Agent

    把重复性的优化任务改写成「目标 + 指标 + 边界」三件套,让 agent 无人值守地循环(超参、性能、提示、成本都适用)。

  • 编码 Agent

    练习「宏观动作」:同时开多个仓库或工作树,每个 agent 负责一个互不干扰的功能,人负责分派与审阅。

  • 产品

    为 agent 而不是为人设计接口:把功能暴露成 API/CLI,并提供给 agent 读的 markdown 文档。

  • 模型训练

    在小模型上用自动化实验探索,再按 scaling law 外推;警惕对单一指标的过拟合(Goodhart),让系统帮你设计更多指标。

  • 机器人

    关注数字与物理的接口:传感器数据采集与执行器,是比纯硬件更早落地的机会。

  • 教育

    把教学内容写成 skill:规定讲解顺序和提示,让 agent 根据学习者水平个性化讲解。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录