AI Engineer 2026:942 场演讲目录

每个视频都读了字幕:有中文一句话、主题标签,以及 2–3 条「可以学到 / 用在工作里」的做法。可按主题筛选,搜索也会匹配这些要点;深读过的演讲链接到站内详情页。

  1. 19:38深读
    2026 in LLMs — Simon Willison, Datasette

    Simon Willison 回顾 2026 年 LLM 的三个拐点:编码 agent 变得可靠、能持续解决问题、vibe coding 做游戏;谈鹈鹕基准、提示注入与失控 agent,以及为什么软件工程反而感觉更难。

    可以学到 / 用在工作里
    • 把问题表述成「可验证的目标 + 可调用的工具」,再让强模型长时间运行;能力瓶颈往往在于你给了它什么感官和工具。
    • 对主观质量(好不好玩、好不好用)也可以直接要求 agent 自己模拟测试并迭代。
    • 简单工作被自动化后,留给人的是更难、更有野心的问题;相应调整项目选择和节奏。
    • 范式与判断
    • 安全与隔离
  2. 58:03深读
    New Ways of Working with Codex — Dominik Kundel & Charlie Guo, OpenAI

    OpenAI 演示 Codex 的日常工作流:插件收集上下文、Appshots 与 computer use、ChatGPT Space 协作、Codex Cloud 远程环境、ChatGPT Sites 发布、代码评审与并行 agent。

    可以学到 / 用在工作里
    • 把团队规范写进仓库(AGENTS.md + linter),把仓库外的上下文(文档、Slack、工单)通过 MCP/插件接入,而不是每次在提示里粘贴。
    • 推理强度和模型按任务选择:日常用中档,难题让主 agent 自己升级到更强模型或分派子 agent。
    • 计划、runbook 这类人和 agent 都要编辑的文档,放在支持协作和自动更新的地方,而不是只放在 PR 里。
    • 编码 agent
    • 产品与交互
  3. 19:55
    Let's Open Source the World — Brandon Thomas, ArtCraft

    ArtCraft 用 Rust 和编码 agent 做 Adobe、Office、Figma 的开源替代,一天做出 Photoshop 雏形;谈 MCP/CLI 自动化、CI 瓶颈和即将推出的软件工厂 Autocraft。

    可以学到 / 用在工作里
    • 用编码 agent + Rust 快速复刻成熟桌面软件的核心功能,一天可出原型
    • 把软件能力同时暴露为 MCP 与 CLI,方便 agent 自动化
    • agent 加速后 CI 成为瓶颈,要提前扩容
    • 创业
    • 编码 agent
  4. 23:19
    "Where is all the automation?" — Diogo Almeida, TypeSafe AI

    为什么自动化还没到来:RLHF 把模型优化成「人类助手」,95% 爱因斯坦 5% 憨豆;主张面向机器的 AI、可靠性、语义类型与分解验证。

    可以学到 / 用在工作里
    • 自动化决策要问「调用方怎么知道答案可以安全使用」
    • 偶尔惊艳不如窄而极度可靠,便于代码直接消费
    • 按训练任务能支撑的下游操作来设计训练目标
    • 范式与判断
    • 模型与训练
  5. 17:31深读
    All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI

    SpaceXSI Grok Bot 的 Lauren Tan 个人 3–10 月合并 10,732 个 PR、回滚率约 0.5%:靠可强制的架构、用 lint 规则替代注释、运行时验证和 TLA+/Lean 形式化验证,把 token 花在验证上。

    可以学到 / 用在工作里
    • 建立「纠正 → 规则」的习惯:同一类问题第二次出现时,写成 lint 规则(报错信息直接告诉 agent 根因和正确做法),再批量清理存量。
    • 审视代码库里的「坏榜样」:废弃 API、变通写法、过时注释都会被复制,优先清理高频被模仿的区域。
    • 限制注释和随手写的 markdown:它们不可强制、容易过时,还给 agent 留了不做正确事情的借口。
    • 质量与评审
    • 软件工厂 / 多 agent
    • 编码 agent
  6. 17:31深读
    Rethinking Claude Code Best Practices — Lydia Hallie, Anthropic

    Claude Code 新最佳实践:精简 CLAUDE.md,auto mode 负责审批,deny 规则与沙箱/云环境负责边界,测试、hooks 和 CI 负责验收,最后由编排会话发起任务。

    可以学到 / 用在工作里
    • 清理 CLAUDE.md:删掉技术栈介绍、目录导航和全大写强调,只留代码里看不见的约束。
    • 按「能否撤回」划线:不可撤回的动作写 deny 规则并提交进仓库;能撤回的交给模型判断。
    • 把验收做成机器可判的:任务级测试 + hooks(退出码 2)+ CI 自动修复,再决定哪些类别可以自动合并。
    • 编码 agent
    • 安全与隔离
    • 评测
  7. 5:32
    Stop Shipping LLM Settings That Only Win on Paper - Rohan Pandey & Balaji Varadarajan, DigitalOcean

    DigitalOcean 在 AMD MI355 推理服务器上用优化 agent 调 vLLM/K8s 配置,在真实延迟目标下测吞吐,只保留真正有效的设置。

    可以学到 / 用在工作里
    • 推理配置要在真实工作负载和延迟目标下比较 goodput,而不是看纸面吞吐
    • 用带试验预算的贝叶斯优化 agent 自动调 vLLM 参数
    • 记录胜出配置对应的输入/输出长度分布
    • 基础设施与算力
  8. 14:00深读
    Your SKILL.md Is 70% Stuff the Model Already Knows - Nikolay Petrov, Intel

    把 SKILL.md 拆成可检验的小断言,逐条对比有无该断言时模型表现:第一个被测 skill 有 70% 是模型本来就会的,有些行反而让结果变差。

    可以学到 / 用在工作里
    • 给知识型 skill 做「断言级」测试:同一问题在有/无 skill 下各问一次,按实际需要的精度评分。
    • 删内容之前一定在原任务上重跑评测;针对你实际使用的模型(大小不同)分别验证。
    • 上下文 / Skills / MCP
    • 评测
  9. 26:49深读
    Pick Problems That Survive When AI Solves Coding - Ara Khan, Cline

    Cline 的 Ara Khan:编码被解决之后做什么?梳理评测、harness、推理、训练之间的递归自我改进回路,区分实测进展与炒作,选择能长期存在的问题。

    可以学到 / 用在工作里
    • 用一个强模型做「harness 工程师」:读失败轨迹、归类、改 harness、重跑;几百美元就能换来十个百分点。
    • 把精力放在有真实测量回路、与物理世界或专有数据连接的问题上。
    • 范式与判断
    • 创业
  10. 12:38深读
    225,000 Lines of Tests, Written and Merged by Agents - Kush Agrawal, Duolingo

    Duolingo iOS(近 200 万行)用定时工作流挑出未测代码、agent 开 PR、生命周期管理器盯 CI/修失败/AI 评审/合并,已合并 700+ PR、22.5 万行测试。

    可以学到 / 用在工作里
    • 批量 agent 任务先做「可行性打分」:挑 agent 最可能做好的目标先上,积累成功率再扩大范围。
    • 用一个生命周期管理器管理大量 agent PR:每个 PR 每轮只决定一个动作(关闭、等待、修复、提醒),而不是让人盯着。
    • 为「测试型 PR」设白名单:只允许改测试/mock 文件,碰到生产代码自动关闭,防止 agent 作弊。
    • 质量与评审
    • 软件工厂 / 多 agent
  11. 18:03
    Agents Made Code Free. Maintaining It Didn't Get Cheaper. - Dmitry Buykin, Maersk

    Maersk:agent 让写代码几乎免费,但维护没变便宜。几个月后出现测试通过但线上坏、没人要的功能、规则互相矛盾;对策是回放真实任务、专家负责的评测和运行时护栏。

    可以学到 / 用在工作里
    • 重复路径变成工具后,要从指令里删掉旧步骤,否则 agent 会做两遍
    • 专家纠正变成评测,再让 agent 搜索同类切片的相同失败
    • 改规则前在冻结的真实任务集上回放新旧行为
    • 质量与评审
    • 团队与组织
  12. 7:50
    Your Spec Has Bugs. Catch Them Before Your Agent Codes. - Rajath Mahendrappa Kotyal, AWS

    AWS Kiro 用 LLM + SMT 求解器在生成代码前找出规格里的矛盾、缺失失败场景和歧义句,把模型之间的分歧当成需求有问题的信号。

    可以学到 / 用在工作里
    • 在 agent 写代码前先检查规格:让 LLM 多次翻译同一需求,再用求解器比较是否等价
    • 翻译结果出现分歧=需求有歧义,交给人决定
    • 用具体输入(如缺货订单)测试规则冲突
    • 上下文 / Skills / MCP
    • 质量与评审
  13. 34:49
    Every Company Is Building Agents That Can't Work Together - Justin Schroeder, Standard Agents

    Skills 和 MCP 统一了上下文,但 agent 本身仍是一次性产物;提出可移植、可组合的 agent 运行时标准 Standard Agents 并演示。

    可以学到 / 用在工作里
    • 共享 agent 时要连同权限、宿主需提供的能力一起说明,否则换团队就失效
    • 用一个具体业务案例(如保修理赔)作为可移植性测试
    • 限制 agent 只能做所有者能评估的步骤
    • Harness 与架构
    • 上下文 / Skills / MCP
  14. 51:48
    Your Agent Doesn't Need an LLM for Every Decision - Raymond Weitekamp, OpenProse

    不是每个决策都要调用 LLM:把递归语言模型的思路用到快速分类器(System One 模型),构建更高效的编码、检索和 computer use 工作流。

    可以学到 / 用在工作里
    • 不是每个决策都要调 LLM:在 agent 根节点放分类器决定下一步
    • 代码提供状态与可选项,只有需要生成时才委托大模型
    • 先收集样本训练快模型,再逐步让它接管熟悉的路径
    • Harness 与架构
    • 模型与训练
  15. 22:49
    Your Team's Agents Are All Shipping to the Same Code at Once - Patrick Debois, Tessl

    整个团队的 agent 都往同一个 main 分支交付,持续交付需要重新设计:agent 共用一个 main,人共用一个看板,按风险分级评审。

    可以学到 / 用在工作里
    • 多 agent 共用 main 时:认领工单、宣告要改的文件、隔离工作区
    • 两个都通过 CI 的 PR 仍可能语义冲突(如金额单位),要检查能否一起合并
    • 按风险分级决定交接方式与评审深度
    • 软件工厂 / 多 agent
    • 团队与组织
  16. 28:00
    60% of Our Data PRs Now Merge With No Human Review - Chetas Joshi, Robinhood

    Robinhood 数据平台的混合评审 agent:先跑确定性检查,再让模型判断脚本判断不了的部分,高风险交给人;约 60% 数据 PR 无需人工评审,每月省 132 工时。

    可以学到 / 用在工作里
    • 数据 PR 评审:先跑确定性检查(血缘、爆炸半径),模型只判断脚本判断不了的部分
    • 升级给人时要指出具体行和依赖,留一个明确问题
    • 用误报和漏报分别改进上下文与搜索规则
    • 质量与评审
    • 软件工厂 / 多 agent
  17. 12:57
    The Agents Were Fine. Everything Around Them Broke. - Joey Wang, Harvey

    Harvey 内部云 agent 平台 Spectre 跑了 1 万个 agent PR 后发现:agent 没问题,周围的系统坏了(告警风暴、并发、项目知识)。工程师自选 agent,平台统一负责之后的一切。

    可以学到 / 用在工作里
    • 云端 agent 平台要负责首个补丁之后的一切:CI 失败自动重试、合并队列
    • 给能启动任务的人、agent、告警设上限(一个 bug 曾触发约 900 个调查)
    • 把每个用户操作做成可调用命令
    • 软件工厂 / 多 agent
    • 基础设施与算力
  18. 38:50
    An Agent That Fixes Its Own Mistakes - Saloni Gandhi & Ziwei Guo, LinkedIn

    LinkedIn 的职业理解 agent 闭环自我改进:评估自己的输出、找失败模式、反思根因、用 GEPA 优化指令并验证。

    可以学到 / 用在工作里
    • 生产失败先定位到 agent 的哪一部分(指令、工具、评委)
    • 评委本身也要被审:它可能接受看似合理但遗漏关键信号的答案
    • 用 GEPA 生成指令修改,在统一 rubric 下比较并人工复核后上线
    • 评测
    • Harness 与架构
  19. 23:00
    Your Sub-Agents Are a Distributed System. Treat Them Like One. - Girish Konda, Microsoft

    编排器 + 子 agent 就是分布式系统:半成品报成功、猜测被当事实、限流看不见、重试导致副作用执行两次,逐一对应分布式系统里的经典解法。

    可以学到 / 用在工作里
    • 把编排器 + 子 agent 当分布式系统设计:超时不等于失败,要读回副作用确认
    • 追溯「多份产物一致」是否只是重复同一个猜测
    • 为每类操作单独定义超时与重试语义,避免重复写入
    • Harness 与架构
    • 软件工厂 / 多 agent
  20. 12:20
    Your Agent Hates Your CLI - Ayush Bhardwaj, Allos AI

    分析 2 万次 agent 工具调用,发现 CLI 输出太多、退出码误导时 agent 会用 head/grep 绕路;给出面向 agent 的 CLI 设计:小切片、紧凑结果、批量请求、帮助文本即接口。

    可以学到 / 用在工作里
    • 分析 agent 调用 CLI 后接的 head/grep/jq,反推它真正需要的输出
    • 给 agent 的 CLI:默认小切片、紧凑字段、支持批量查询
    • 管道的退出码与尾部诊断要可信,失败时给出完整日志路径
    • 上下文 / Skills / MCP
    • 编码 agent
  21. 20:06
    Merge Is the Bottleneck - Prasanna Sankar, Vorflux

    Vorflux:agent 能完成长任务后,瓶颈转到合并与项目管理;云端复现开发环境、依赖感知编排、浏览器测试录屏、独立评审和合并队列。

    可以学到 / 用在工作里
    • 按「开发者到合并为止」的总时间衡量 agent 工具,而不是首个计划多快
    • 评审者需要能运行的功能和录屏
    • 给机器人长期任务前定好触发信号、负责人和预算
    • 软件工厂 / 多 agent
    • 团队与组织
  22. 14:30
    You Can't Tell What an Agent Skill Will Do by Reading It - Roey Ben Chaim, Zenity

    读 SKILL.md 无法判断 skill 实际会做什么:官方诊断 skill 的行为和窃密程序很像。Zenity 搭了「agent 引爆室」,在沙箱里执行并记录进程、文件和网络。

    可以学到 / 用在工作里
    • 只读 SKILL.md 判断不了 skill 的行为,要在沙箱里给真实任务运行并记录进程、文件、网络
    • 警惕 skill 引入用户没选择的依赖和冒名包
    • 结合任务语境判断敏感读取是否合理
    • 安全与隔离
    • 上下文 / Skills / MCP
  23. 23:00
    Your PR Says the Tests Passed. Prove It. - Stephen Chin & Cassandra Chin

    PR 声称测试通过并不等于真的测过:Tracetoon 从 agent 会话里恢复证据,写更可信的 PR 描述,并用证据图 Relate 关联命令与改动。

    可以学到 / 用在工作里
    • PR 里「测试通过」要附命令、结果和对应代码版本
    • 让评审者拿到写作者的证据摘要,双向核对声明与证据
    • 强模型写、便宜模型做专项复核
    • 质量与评审
    • 评测
  24. 12:48
    Every Correction You Give Your Agent Is Data - Brian Douglas, Paper Compute

    你对 agent 的每次纠正都是数据:记录会话、标注专家反驳,把隐性工程判断变成评审数据集、skills 与评测。

    可以学到 / 用在工作里
    • 给专家的反驳打标签(如 pushback),保留会话与改动的关联
    • 命令行会话里藏着大量从未进 PR 的评审意见,值得挖掘
    • 反复出现的错误先变成评测和 skill,再考虑后训练
    • 评测
    • 编码 agent
  25. 15:41
    Give Your On-Call Its Own AI Teammate - Swaapnika Motapothula, Chinmay Gandhi & Vlad Tsvang, Meta

    Meta 给每个 on-call 轮值配一个 AI 队友:共享上下文、独立身份、持久记忆和明确权限边界,串起告警、工单和恢复动作。

    可以学到 / 用在工作里
    • 给每个 on-call 轮值配一个共享 agent:跨告警、工单、配置变更做关联调查
    • 按动作逐项授予自主权,依据出错代价与历史记录
    • 纠正同时进入团队记忆,下一班也受益
    • 团队与组织
    • 基础设施与算力
  26. 22:01
    How to Build a Software Factory That Improves Itself - Zach Lloyd, Warp

    Warp:从工程师在笔记本上提示 agent,转向沙箱化的云端软件工厂;把工厂当作开放、可编码定义的基础设施,演示运行可视化、LLM 打分和自我改进。

    可以学到 / 用在工作里
    • 把软件工厂当作代码定义的开放基础设施:工作流放进仓库
    • 同一错误出现 37 次就自动提修复 PR
    • 用昨天的工单做基准,回放历史任务决定哪个模型值这个价
    • 软件工厂 / 多 agent
    • 基础设施与算力
  27. 15:28深读
    How One Founder Manages 20 AI Coding Agents at Once - Ryan Carson, Untangle

    Ryan Carson 一人管 20 个云端编码 agent:一个「工程经理」agent(主要用语音对话)通过工单板管理 builder,每 15 分钟巡检,限次评审循环,QA agent 和合并队列管理器;上线前一定亲自看演示视频。

    可以学到 / 用在工作里
    • 试一个「经理 agent」:它负责分派工单、定期巡检 builder、回答常规问题,人只和经理对话。
    • 每个功能 PR 自动附上用例结果 + 使用录屏;人先读目的再看录屏,把注意力花在行为判断上。
    • 评审循环设上限(如三轮),超过就升级给人,避免 agent 互相拉扯。
    • 软件工厂 / 多 agent
    • 团队与组织
  28. 15:35
    The One Thing Every AI Agent Framework Agrees On - Mislav Ivanda, Daytona

    Daytona 对比三种运行 agent 代码的方式:白名单与审批、嵌入式运行时、独立沙箱计算机;只有最后一种能让被攻破的一步不殃及应用,各大框架都在走向沙箱。

    可以学到 / 用在工作里
    • 执行 agent 代码三种方式:白名单审批、嵌入式运行时、独立沙箱电脑,只有最后一种能隔离被攻破的一步
    • 主流框架都在收敛到相同的沙箱生命周期接口
    • 让应用拥有沙箱接口,便于换框架
    • 基础设施与算力
    • 安全与隔离
    • Harness 与架构
  29. 20:51深读
    Training Your Own Agent Models With RL Is Now Practical - Jason Mancuso, Modal

    Modal:已有 harness、评测和真实轨迹的团队就具备做 RL 的条件;RL 比在轨迹上 SFT 泛化更好,给出基于 GRPO 的稳定异步 RL 配方与降本手段。

    可以学到 / 用在工作里
    • 如果你有大量带评分的 agent 任务(评测 + 失败 trace),RL 微调开源模型已经是可行选项,而不仅是前沿实验室的事。
    • RL 的大头成本在 rollout 生成;可利用更便宜、分散的 GPU 采样。
    • 模型与训练
  30. 1:50:34
    Stop Chatting With Spreadsheets — Francesco Galletta & Felippe Felisola Caso, Monzo

    Monzo 现场搭一个可信的财务分析 agent harness(场景:给婚礼做预算):共享领域模型、一致性、证据、问责、验证五原则,计算放在代码里而不是让模型算。

    可以学到 / 用在工作里
    • 财务类 agent:计算放进可测试、带版本的代码节点,不让模型心算
    • 把对话转成输入时保留限定词(大约、至少、可能)
    • 评审发现要能回写到计划,形成问责链
    • 行业应用
    • Harness 与架构
  31. 21:12
    What Your Coding Agent Can't See in the Code - Tom Moor, Linear

    Linear:写代码不再是瓶颈,难的是 agent 大量交付时保持产品一致。triage agent 给 issue 补客户和事故上下文,评审 agent 对照历史决策、回滚和回归检查改动。

    可以学到 / 用在工作里
    • triage agent 把调查结论写回 issue,供实现 agent 使用
    • 评审时按 diff 检索产品历史决策和回滚,防止重新引入已删除的功能
    • 把有价值的评审纠正沉淀下来
    • 软件工厂 / 多 agent
    • 产品与交互
    • 质量与评审
  32. 19:50
    I Let Agents Refactor My Codebase for 3 Weeks. Then I Read the Code. — Keiji Kanazawa, Microsoft

    让 agent 重构个人项目三周后读代码:单元测试连着生产推理跑了约 30 次、「agent」其实还是确定性工作流、skill 没有 SKILL.md、概念互为别名;用更清晰的规格重建并比较四个框架。

    可以学到 / 用在工作里
    • 让 agent 重构几周后一定要读代码和追踪:测试可能在烧真实 token、「agent」可能还是确定性流程
    • agent 会针对单个样例写出只为通过的 rubric,要用更多样例检验
    • 用清晰规格重建比继续修补更快
    • 质量与评审
    • 编码 agent
  33. 15:21
    Can AI Agents Beat Wall Street at Predicting Earnings? - Ashwin Paranjape, Samaya AI

    Samaya AI 用「预测财报」而不是「预测股价」测试金融 agent:有硬数字、专家基线和可解释的意外;搭建防止偷看未来数据的时点环境,测 450+ 份财报。

    可以学到 / 用在工作里
    • 用「预测财报」而非股价评测金融 agent:有硬数字和专家基线
    • 回测要设两只时钟:检索截止时间与模型训练截止
    • 与经偏差修正的分析师一致预期比较才有意义
    • 行业应用
    • 评测
  34. 52:08
    Your Self-Hosted LLM Needs to Say No - Harshul Jain & Parv Khatri, Audible & SAP

    自托管 LLM 要学会拒绝:编码 agent 会扇出、重试、突发请求,需要在请求进入 GPU 前做准入控制;基于 55 篇系统论文和 8 次线上事故给出五个问题。

    可以学到 / 用在工作里
    • 自托管 LLM 要在 prefill 占用显存前做准入控制
    • 以「必须完成的任务」为准入单位,避免两个依赖任务都卡住
    • 拒绝时给 agent 可执行的动作(Retry-After + 抖动、降并发)
    • 基础设施与算力
  35. 3:31
    AI Engineer NYC 2026 Closing Remarks - Ksenia Se, Turing Post & swyx, AI Engineer

    AI Engineer NYC 2026 闭幕致辞,预告 AIE CODE、伦敦 AI Engineer Europe 与旧金山 World's Fair。

    可以学到 / 用在工作里
    • 大会闭幕致辞,可了解 AIE 年度活动安排(CODE、Europe、World's Fair)
    • 大会与活动
  36. 7:11
    Your KV Cache Can Spot Attacks on Your AI Agents - Ari Azarafrooz, Intrinsec AI

    用推理引擎本来就写的 KV cache 当安全信号:从正常流量学基线,标记异常 KV 页,能发现语音留言里隐藏的口头指令这类没有文本可过滤的攻击。

    可以学到 / 用在工作里
    • 推理引擎的 KV cache 可以作为安全信号:从正常流量学基线、标记异常页
    • 能发现语音留言里藏的口头指令这类没有文本可过滤的攻击
    • 页大小决定基线样本量与告警定位粒度
    • 安全与隔离
    • 基础设施与算力
  37. 27:35
    AI Writes Code Faster Than Uber Can Merge It - Preetam Dwivedi & Manjari Akella, Uber

    Uber 的 AI 代码让合并流水线(每周数万次提交)逼近极限:SubmitQueue 增加准入分级、延迟队列和合并后验证三项改造,保持改动快速落地。

    可以学到 / 用在工作里
    • 合并请求增加 44% 让 Uber 的 P95 落地时间从 30 分钟变成数小时
    • 按构建图影响面给改动分级,大改动延后到低峰
    • 放松弱重叠关系把串行队列拆成独立队列
    • 基础设施与算力
    • 软件工厂 / 多 agent
  38. 17:57
    Will AI Agents Pretend to Be Human to Get Past a Check? - Maty Bohacek, Stanford

    斯坦福实验:当「打视频电话证明你是人」是拦住 agent 的唯一关卡时,有语音/视频克隆工具的 agent 很多会选择冒充真人;人也越来越难分辨。

    可以学到 / 用在工作里
    • 「打电话/视频验证真人」不再可靠:有克隆工具的 agent 会冒充真人
    • 安全对齐能降低但不能消除冒充行为(65%→44%)
    • 在验证流程中加入身份披露与技术防护
    • 安全与隔离
  39. 18:56
    Why No One Agrees on What Their AI Tokens Cost - Pratyusha Duvvuri, Cisco

    问了约 100 家公司什么是 tokenomics,答案各不相同;给出定义(token 用量与成本的可观测性和可解释性),并演示面向工程师、经理和财务的成本面板。

    可以学到 / 用在工作里
    • 模型选择看提升对任务的价值:96%→99% 未必值得更贵的模型
    • token 成本面板要同时服务工程师、经理和财务
    • 把账单归属到组织层级与定价条款,数据按天刷新
    • 基础设施与算力
    • 团队与组织
  40. 19:24
    Stop Doing Agent Archaeology on Your Team's Code - Richard Feldman, Delta

    交接 agent 工作时只拿到分支和一段对话记录,推理和死胡同都丢了;Delta 把 agent 对话、代码改动、评审和同事放进同一个共享线程。

    可以学到 / 用在工作里
    • 交接 agent 工作时保留推理与死胡同,而不只是分支和对话
    • 把 agent 对话、diff、评审和同事放进同一个共享线程
    • 记录决策的来历,下一个人才能判断它的分量
    • 软件工厂 / 多 agent
    • 团队与组织
  41. 14:38
    Teach Your AI Agent to Build Products Everyone Can Use - Jemima Abu, CAIS

    agent 会照搬训练代码里的无障碍缺陷(96% 头部网站有问题);给 agent 一个无障碍 skill 后,同样的构建更快更省,并给出四步做法。

    可以学到 / 用在工作里
    • agent 会照搬训练数据里的无障碍缺陷:给它一个轻量无障碍 skill
    • 偏好原生元素(如 details),并写出可观察的要求(仅用键盘可操作)
    • 同一设计带 skill 构建更快更省(单次对照)
    • 产品与交互
    • 上下文 / Skills / MCP
  42. 15:25
    Right Answer, Wrong Reasons: AI Forecasts Costco - Hassan El Mghari & Omar El Mghari, Together AI

    只给开源模型 Costco 2024 年前的公开财报,让它用结构化公式写财务模型、并行跑 16 次,预测误差 4.4%;但审计发现「答案对、理由错」。

    可以学到 / 用在工作里
    • 历史回测要防止「后见之明」:按披露时间过滤资料、检查模型是否已知结果
    • 让模型写公式化的财务模型,便于审计每个假设
    • 两个误差可能相互抵消,修正一个输入时固定其他
    • 行业应用
    • 评测
  43. 19:41
    Engineering Agency out of the Happy Path — Matthew Jewkes, Standard Cybernetics

    生物医药文献索引自动化从 80% 提到 99.95%:把真正的错误、歧义和例外分开,只全自动化快乐路径,不确定的路由给专家,例外当作市场信号。

    可以学到 / 用在工作里
    • 只全自动化「快乐路径」,把错误、未定规则和新情况分开路由给专家
    • 路由所花的功夫至少和降错误一样多
    • 例外堆里藏着客户需求信号
    • 评测
    • 行业应用
  44. 20:28深读
    What the Top Companies Do Differently With AI Coding - Martin Harrysson & Prakhar Dixit, McKinsey

    麦肯锡:多数大公司收益有限,前 20–25% 已获得端到端 2 倍提升。做法是更短的 agent 驱动周期、更小且角色合并的小组、上下文与信任建设、策划 skills;瓶颈移到需求和发布。

    可以学到 / 用在工作里
    • 尝试「agent 夜班、人白天验证」的一两天循环,并明确每个阶段的评审点。
    • 推广时策划统一的 skills/上下文库,并同时投资评审能力,跟踪按 PR 的缺陷率。
    • 团队与组织
    • 范式与判断
  45. 18:56
    Your Company Has No Model of Itself. Agents Can Build One - Joao Wenzel, Citadel Securities

    Citadel Securities 用 agent 从 PPT、Slack、会议纪要、代码改动和 agent 轨迹构建「公司对自身的模型」,借用机器人里的状态估计器,证据到来时更新信念、老化、观测、打分、纠正。

    可以学到 / 用在工作里
    • 用 agent 从幻灯片、Slack、纪要和代码构建「公司对自身的模型」
    • 把报告状态、证据、agent 判断与理由分开保存并带日期
    • 分别评估观测与预测,像状态估计器一样更新信念
    • 检索与知识
    • 团队与组织
  46. 18:32
    Claude Code Looked Right but Missed $800K - Natalia Connolly & Kevin Madura, AlixPartners

    AlixPartners 让 Claude Code 分析 4 万份采购合同,答案看似完整却差了约 80 万美元、续约日期晚一个月:长合同静默解析失败、补充协议没挂到主合同;改用五阶段处理流水线和内置业务规则的工具。

    可以学到 / 用在工作里
    • Claude Code 分析数千份合同时可能静默漏掉长文档和补充协议,结果看似完整却差约 80 万美元
    • 先做文档预处理流水线(解析、关联主合同)再分析
    • 把业务规则做进工具,查询失败时明确反馈
    • 行业应用
    • 评测
    • 检索与知识
  47. 16:09
    How Financial Planners With Zero Coding Experience Built Their Own Agents - Matt Ragone, Range

    零代码经验的理财规划师如何自己做 agent 和 skills:挑重复流程、给真实案例、打包成 skill、测试、迭代,让 agent 在开会时起草现金流和保险税务分析。

    可以学到 / 用在工作里
    • 非工程师也能做 skill:挑一个高频且能快速判断对错的流程
    • 用完成并纠正过的真实案例教 agent,解释关键线索
    • 先在 5–10 个典型与异常案例上测试,人保留最终签字
    • 团队与组织
    • 上下文 / Skills / MCP
  48. 18:39
    How Ramp Tests Its AI Bookkeeping Agent Before Customers Do - Ryan Stevens, Ramp

    Ramp 给记账 agent 做端到端评测:拆解会计任务,构造带完整账本的合成企业做回测,比较 accuracy 与 pass@k,发现最新模型主要还是败在推理上。

    可以学到 / 用在工作里
    • 业务 agent 要用带完整状态(账本)的合成企业做可重放回测
    • 同时看部分正确率与 pass@1,两者差距很大
    • 用第二个会计期测试记忆质量
    • 评测
    • 行业应用
  49. 16:38
    Your Coding Agent Can't Undo Its Own Mistakes - Tanmay Sah & Dolly Sah

    编码 agent 不会撤销自己的错误:Git 管不了外部 API 调用、运行时配置和通知,重试也不会回滚副作用;UndoBench/EvoUndo 研究显示大量改动无法干净撤回。

    可以学到 / 用在工作里
    • Git 撤销不了外部 API 调用、通知和运行时配置
    • 超时后先检查第一次写入是否已提交,再决定重试
    • 变更前记录「前状态见证」,恢复计划据此还原
    • 质量与评审
    • 安全与隔离
  50. 31:22
    How to Get Frontier Coding Results at 70% Lower Cost - Nouha Dziri, Cohere

    Cohere 研究编码 agent 团队:主 agent 拆活、worker 并行探索构建检查,能赢单 agent 但成本高数倍;在 ProgramBench/Commit0 上找出何时加 worker 值得,前沿结果成本降 70%。

    可以学到 / 用在工作里
    • 先建一个提示做好的单 agent 基线,仅改指令就能提升近 6 分
    • 逐阶段测试委托是否值得:探索型任务适合并行发现,已知测试的实现任务适合加实现者
    • 让主 agent 等待它下一步依赖的结果
    • 软件工厂 / 多 agent
    • Harness 与架构
  51. 1:50:32
    Build Your Own Finance Agent Inside ChatGPT - Stefano Fabbri & Oliver Steffmann, OpenAI

    OpenAI 工作坊:用 ChatGPT Work 与 Codex 搭财务工作流,内置 LSEG、PitchBook 等数据,金融插件 = skills + MCP 连接,并用 Codex 扩展插件。

    可以学到 / 用在工作里
    • 按缺什么选扩展方式:可复用流程用 skill,访问公司数据用 MCP 插件,交互视图用桌面插件扩展
    • 先拿一个真实客户案例跑通内置金融工作流
    • 财务数值要带着口径和含义一起传递
    • 行业应用
    • 上下文 / Skills / MCP
  52. 17:35
    Don't Vibe Code Your Agent Infrastructure - Akshat Bubna, Modal

    Modal CTO:agent 需要什么基础设施——每个 agent 一个工作区、能持续数天但空闲不计费的状态、弹性资源、按需 GPU、共享文件系统、防泄露和可观测性。

    可以学到 / 用在工作里
    • 每个 agent 一个工作区,状态能持续数天但空闲不计费
    • 执行边界与共享边界分开设计(容器 vs 共享卷)
    • 按单次运行内的资源峰值而非平均值来定规格
    • 基础设施与算力
  53. 18:28
    AI Can't Make Up a Number It Can't Look Up - Vinoo Ganesh, Kepler

    Kepler:AI 编不出查不到的数字。错误来源分三类(错文档、对文档错数字、模型做数学),做法是代码预先抽取每个事实并编号,模型只负责规划和指向。

    可以学到 / 用在工作里
    • 数字出错要分三处诊断:选错文档、选错事实、算错
    • 入库时给每个事实分配 ID,模型只负责规划和指向,取值和计算交给代码
    • 检索与直读都要应用调用者的文档权限
    • 行业应用
    • 检索与知识
  54. 19:34
    How Agents Cut Hour-Long Data Checks to 5 Minutes - Amol Kapoor & Clifford Ressel, Nori Agentic

    Nori 用云 agent 维护资管公司的证券主数据,私募资产的信息散在 PDF、邮件和电话纪要里,单元格变更核查从一小时降到五分钟。

    可以学到 / 用在工作里
    • 先建好法人实体、股份类别、上市的关系模型,再合并外部数据源
    • 每个变化的单元格触发一次调查,把解释、引用和保留/丢弃建议交给负责人
    • 把信息来源、信任规则写成分析师说明
    • 行业应用
    • 检索与知识
  55. 13:27
    Your Financial Agent Needs to Show Its Work - Anirudh Veeraragavan, Fieldguide

    金融 agent 不仅要答对,还要能说明怎么得出的:银行对账审计 agent 的四项控制——授权、执行记录可回放、证据溯源、评测完整性。

    可以学到 / 用在工作里
    • 审计类 agent 的四项控制:写入时检查授权、每步记录输入输出可回放、引用绑定文档版本与哈希、抽查评测里的「通过」
    • 新证据进来时生成修订提议,而不是直接改已签字结论
    • 行业应用
    • 安全与隔离
  56. 19:19深读
    Your AI Agent Is Hiding Its Mistakes From You - Ben Holmes, Warp

    Warp 的 Ben Holmes:收集所有 agent 对话、工具调用和输出,用 LLM 评委打分(冗余测试、啰嗦、效率),每天让一个 agent 从失败中找规律并提 PR 修 skills 和配置。

    可以学到 / 用在工作里
    • 评审 agent 工作时一定看工具 trace,而不只看最终报告;把重复失败、无谓往返当作效率问题打分。
    • 把团队对「测试覆盖度」「输出长度」的期望写成 rubric,供 LLM 评委和 agent 共同使用。
    • 搭一个每日改进循环:抽样会话 → 评分 → 汇总失败 → 对 skills/配置提 PR → 人审 → 看后续分数。
    • 评测
    • 软件工厂 / 多 agent
  57. 1:04:02深读
    Your Old Prompts Are Making Claude Worse - Lance Martin, Anthropic

    Anthropic 的 Lance Martin:审计提示里过时的习惯(「一步一步想」、互相矛盾的规则),用好 prompt cache(内部基准省 72%),设计 Claude 能爬的评测,避免过拟合地爬坡,以及跑数天的 harness。

    可以学到 / 用在工作里
    • 换模型时先审计旧提示:删掉「一步步思考」「务必仔细」之类的补丁,再用评测比较。
    • 检查 agent 的缓存命中率,把稳定内容放前、变化内容放后;这往往是最便宜的降本手段。
    • 让 agent 自动优化 skill/提示词时,一定要有留出集和预算,进展停滞时先分组看失败、检查题目和评分器。
    • 上下文 / Skills / MCP
    • 评测
    • 基础设施与算力
  58. 14:04
    AI Agents Will Upend Investing Even More Than Coding - Frank Long, Coatue

    Coatue:agent 对投资的冲击会比编程更大。把对冲基金看作「上下文进、买卖决策出」的函数,拆成收集、分析、决策,并以韩文半导体新闻为例。

    可以学到 / 用在工作里
    • 给投资 agent 通过 API 访问外部数据和内部决策记录(含放弃的投资及原因)
    • 研究步骤要说明必须返回什么(核实过的引述、外部数字、反证)
    • 用团队能理解的测试来选择执行方式
    • 行业应用
    • Harness 与架构
  59. 23:05
    When we can do anything, do we still know what we want? — Ryo Lu

    前 Cursor 设计师 Ryo Lu:当什么都能做时,我们还知道自己想要什么吗?用一个 AI 生成的日记应用说明设计决策如何悄悄进入答案,以及好工具应该让人改得动(上海站,中文)。

    可以学到 / 用在工作里
    • 生成的设计里删掉哪个功能,最能暴露你真正想要什么
    • 工具应在执行前展示拟议改动,执行后允许调整
    • 保留两个原型足够久,问选另一个的人为什么
    • 产品与交互
    • 范式与判断
  60. 17:27
    7 Things Your AI Coworker Needs - Philipp Schmid, Google DeepMind

    Google DeepMind 的 Philipp Schmid:AI 同事需要七样东西——大脑、电脑、操作手册、工具、凭据、规矩和日程;用 Gemini Managed Agents 演示,凭据由网络代理注入防注入泄露。

    可以学到 / 用在工作里
    • AI 同事需要七样东西:模型、电脑(沙箱)、操作手册(skills)、工具、凭据、规矩、日程
    • 凭据放在网络代理按域名注入,模型永远看不到
    • 按操作选择执行位置:沙箱、MCP 或回调应用
    • Harness 与架构
    • 安全与隔离
  61. 19:43
    How We Mapped a 35-Million-Line Mainframe in 4 Days - Stephen Chin, Neo4j & Neeraj Deshmukh, Blitzy

    Neo4j 与 Blitzy 用知识图谱在 4 天内梳理 3500 万行大型机代码:AI 能翻译公式却看不到批处理和数据布局,大上下文也不解决;先把代码变成图,再给每个 agent 正确的上下文。

    可以学到 / 用在工作里
    • 大型遗留系统迁移先把代码变成图:每个依赖带源码位置和版本
    • 按完整业务流程(如一次计息)划定迁移范围
    • 用旧系统产出期望行为,在每次写入处逐字节比对
    • 检索与知识
    • 行业应用
  62. 14:58
    Your AI Agent Keeps Making the Same Mistakes - Sparsh Jain, CentralAgent AI

    更多记忆不等于会学习:把 agent 记忆改造成经验系统——形成笔记、更新或停用旧笔记、保留判断依据、定期「做梦」整理与遗忘。

    可以学到 / 用在工作里
    • 记忆要变成经验系统:按证据层级保存案例、策略或 skill
    • 旧判断要可追溯也要能被遗忘(定期整理)
    • 评估检索时看请求情境:两条都正确的记录可能导向不同动作
    • 检索与知识
    • Harness 与架构
  63. 18:13
    Your AI Isn't the Advantage. Your Judgment Is - Sid Pednekar

    多数公司都有 AI 但只有少数见效:领先者深挖少数高价值流程、建设共享能力(标准化核心、个性化边缘),并改造组织适应 agent。

    可以学到 / 用在工作里
    • 先追踪关键信号从来源到决策者的延迟,再决定投资哪一步
    • 把资源集中在少数高价值流程上(领先者 80% 以上投资在此)
    • 共享数据集含义、缺口和失败方法,让下一位研究者站在前人基础上
    • 团队与组织
    • 创业
  64. 17:52
    How Netflix Evaluates AI When There's No Right Answer - Cameron Wolfe, Netflix

    Netflix 评测没有标准答案的任务:人工评估(校准过的指南)是北极星,LLM 评委与 rubric 对照人工金标扩展离线评测,A/B 和线上监控做最终确认。

    可以学到 / 用在工作里
    • 没有标准答案的任务:先校准人工评审指南,用人工一致的结果来校准 LLM 评委
    • 按要检测的差异和波动确定样本量
    • 分别重采样 agent 运行与评委打分,报告不确定性
    • 评测
  65. 20:45
    Why Waiting for the Next AI Model Can Pay Off - John Stecher, Blackstone & Scott Worland, Norm AI

    Blackstone 与 Norm AI:数据战略和直通式处理先于 agent;内部应用可以扔掉重写;大量人工标注评测集显示很多精心搭的工作流被新模型淘汰,何时值得等下一代模型。

    可以学到 / 用在工作里
    • 先把数据从交易系统里搬出来,否则 agent 会失败
    • 可预测步骤用普通代码直通处理,模型只做真正需要判断的决策
    • 保留专家标注的评测集,换模型后重跑,判断能否删掉旧工作流步骤
    • 团队与组织
    • 行业应用
  66. 13:22
    How We Took an AI Agent From 41% to 97% Accurate - Milind Sunil Shah, Brainbase Labs

    Brainbase 用六步法把竞品比价 agent 从 41% 提到 97%、成本减半:对齐目标、定义本体、做评测、先上窄版、打分修复迭代、交接,全靠指令、skills 和 playbook 而非换模型。

    可以学到 / 用在工作里
    • 给每个目标定义 ID、来源和解释规则,让结果可追溯
    • 采集时保存浏览器看到的内容,以便回放
    • 算术和完整性用代码检查,选择类判断用读轨迹的 LLM,每次只改一处再打分
    • 评测
    • 上下文 / Skills / MCP
  67. 52:36
    Stop Giving Your AI Agents API Keys - Kim Maida, Keycard & Mason Egger, Temporal

    别再给 agent API key:用 OAuth token exchange 让每次工具调用拿到短期、单次、同时绑定 agent 与用户身份的令牌,并用 Temporal 保证可靠执行(工作坊)。

    可以学到 / 用在工作里
    • 别给 agent 长期 API key:在工具调用时做 OAuth token exchange,拿短期、绑定 agent 与用户身份的令牌
    • 下游服务再换一次令牌
    • 用 Temporal 等持久执行保证中断后不重复扣款
    • 安全与隔离
    • 基础设施与算力
  68. 15:32
    Stop Making Your Customers Click Approve - Emil Chetty, Wise

    Wise:别让客户不停点「批准」。客户一次性同意整件事(锁定的协议),agent 自己选步骤,系统只授予被批准的权限,并处理重试和报价变化。

    可以学到 / 用在工作里
    • 让客户一次批准整件事的确切版本(锁定的协议),而不是每步点批准
    • 权限从确认的任务、平台策略和客户当前权限推导,资金服务端再查一次
    • 报价或收款人变化时回到客户重新决定
    • 产品与交互
    • 安全与隔离
    • 行业应用
  69. 19:12深读
    Why AI Makes You 100x Faster but Not Your Company - Mitchell Troyanovsky, Basis

    Basis:个人效率百倍,公司却没变快。agent 要简单可靠才能在公司里扩散,所以要有主见:行为规格、结果评测不能泛化到生产,用 fork 和子 agent 诊断坏决策。

    可以学到 / 用在工作里
    • 为 agent 写「行为规格」:触发条件 + 期望动作,并在生产轨迹上自动检查(只对触发了的情况评分)。
    • 在团队层面统一关键方法(如文档解析、对账规则),而不是让每个员工各自配置 agent。
    • 团队与组织
    • 评测
    • Harness 与架构
  70. 14:15深读
    Our Smaller Model Beat Opus on Finance Tasks - Alexander Shevchenko, Ramp

    Ramp Labs:后训练的 Qwen 3.5 在金融问答上超过 Opus 4.6、延迟接近 Haiku;KV cache「卡带」提前塞进 20–30 倍上下文;用 1 万个廉价开源模型 agent 给 Ramp 做渗透测试。

    可以学到 / 用在工作里
    • 找到规划 agent 反复问的那类问题,单独度量准确率与延迟,作为后训练小模型的目标,前沿模型继续编排。
    • 对可预知的定期任务(月末结账、周报),提前离线准备上下文,用户开始时就能直接工作。
    • 大规模并行 agent 搜索时,把去重和复现成本算进预算;对抗式复现能过滤掉看似合理但不成立的发现。
    • 模型与训练
    • 行业应用
  71. 15:12
    AI Labs Will Trap You or Replace You - Dillon Rolnick, Nous Research

    Nous Research CEO:模型商品化后,实验室要么锁定客户涨价,要么亲自进入金融等高利润行业;专有软件的护城河已不在,主张开源模型与自主可控。

    可以学到 / 用在工作里
    • 衡量业务产出有多大比例依赖某个 agent 平台,评估供应商锁定风险
    • 梳理一个决策的哪些部分可以换模型或离开供应商后保留
    • 把编码公司专长的部分与通用能力分开
    • 创业
    • 模型与训练
  72. 19:19
    Don't Approve the AI Model. Approve the App - Doneyli De Jesus, Langfuse

    Langfuse 帮头部银行给 agent 设部署门槛:银行认证的是应用不是模型,需要本地、门控、隔离;金标数据集、多维度打分,一个 97% 有据但数学很差的小模型说明了单一分数的风险。

    可以学到 / 用在工作里
    • 银行认证的是应用而不是模型:用机构已信任的案例做金标集
    • 检索、算术、工具使用分开打分:97% 有据性可能掩盖 60% 的数值准确率
    • 让领域专家按用例设阈值,合规失败单独设门槛
    • 评测
    • 行业应用
  73. 18:50
    Robots Will Be Trained on Video Games - Pim de Witte, General Intuition

    General Intuition(Medal 游戏录屏):行动模型要连续输入画面、输出动作;游戏手柄本来就能控制很多机器人,每月 1.5 万亿动作 token 的游戏片段可以训练机器人。

    可以学到 / 用在工作里
    • 训练行动模型要同时保存画面和操作输入(游戏录屏 + 手柄操作)
    • 暴露人类会用的控制并标注其含义,把文字指令连到可执行动作
    • 高频纠正任务要看每分钟动作数与同时输入
    • 机器人
    • 模型与训练
  74. 18:01
    Building the AI Agent Is Easy. Proving It's Safe Isn't - Jonathan Osborne, NatWest

    NatWest 把每天 10 万次对话的助手 Cora 从脚本改成 agent:难的是证明安全。路由漏斗限制进入模型的流量,质量看多个分数,人工评审 83% 的结果掩盖了 54 分的差距,LLM 评委偏宽松,影子模式逐步放量。

    可以学到 / 用在工作里
    • 按钮点击和可识别请求走确定性路由,只把需要的流量送进模型
    • 按场景和评分维度分别报告结果:83% 总通过率可能掩盖话题切换场景只有 43%
    • 用逐案例的人工-模型配对分数校准评委,影子模式逐步放量
    • 行业应用
    • 评测
    • 安全与隔离
  75. 19:48
    Why Datasite Stopped Building Its Own Parsing - Adit Abraham, Reducto & Raj Bakhru, Datasite

    Datasite CTO 谈为什么不再自研文档解析(「全是边界情况」)、250 名工程师做什么买什么、AI 编码如何改变招聘。

    可以学到 / 用在工作里
    • 错误答案要追到源图表和抽取结果(饼图图例颜色错配)
    • 文档解析常是「全是边界情况」,可考虑采购
    • 明确集成两侧:敏感文件在哪处理、检索系统消费什么格式
    • 检索与知识
    • 团队与组织
  76. 20:35深读
    Make Your AI Agents Predictable With Graph Engineering - Zachary Blumenfeld, Neo4j

    Neo4j 的「图工程」:给 agent 一张逻辑地图而不是一堆文本;把 skills 和历史决策轨迹编译成图形状的 skill,让 agent 更可预测、可治理、可移植(贷款审批演示)。

    可以学到 / 用在工作里
    • 对合规敏感的流程,把硬规则从提示里拿出来放进脚本/决策图,让模型只处理需要判断的部分。
    • 记录每次运行的路径(上下文图),用于审计和从成功案例中蒸馏 skill。
    • 检索与知识
    • 上下文 / Skills / MCP
  77. 16:51
    You Can't Tell What's Real Anymore. Here's What Comes Next - Cristóbal Valenzuela, Runway

    Runway CEO:规模化的下一帧预测让视频模型学会物理和物体恒存;模型实时、可交互后成为世界交互模型,可用于机器人,演示研究原型 Continuum。

    可以学到 / 用在工作里
    • 规模化的下一帧预测让视频模型学到物理一致性和物体恒存
    • 可交互的世界模型能用点击实时操控生成,可用于机器人仿真
    • 用遮挡、接触几何等检验视频,而不只看观感
    • 多模态与语音
    • 机器人
  78. 19:42
    Without Caching, Your AI Agent Costs 10x More - George Cameron, Artificial Analysis

    Artificial Analysis:agent 成本取决于输入 token、缓存命中率和步数,同一任务有缓存约 21 美元、无缓存超 200 美元;何时需要最聪明的模型、何时便宜模型够用。

    可以学到 / 用在工作里
    • agent 成本由输入 token、缓存命中率和步数决定,同一任务有无缓存可差约 10 倍
    • 在完整任务上测试推理强度设置
    • 有标准答案的有界任务用它设能力门槛
    • 基础设施与算力
    • 模型与训练
  79. 16:29
    Better Search Took This AI Agent From 36% to 98% Accuracy - Aamir Shakir, Mixedbread

    Mixedbread:OCR + 切块 + 向量库的「缝合怪」会丢信息,agent 只能逐篇读文档;多模态 late-interaction 检索让一个客户的准确率从 36% 提到 98%。

    可以学到 / 用在工作里
    • 「OCR + 切块 + 向量库」会丢失图表与版面信息
    • 多模态 late-interaction 检索能定位到页内区域并引用
    • 用相近的财报做检索测试,检查年份和指标是否找对
    • 检索与知识
  80. 17:13
    Your AI Agents Shouldn't Care Where They Run - Nikhil Harithas, Factory

    Factory 把编码 agent Droid 改成可以跑在客户自己云里的任意算力上:控制面 + 计算网关 + 中继,自带密钥,快照与 fork,并计划开源这一层。

    可以学到 / 用在工作里
    • 让 agent 可以运行在客户自己的云上:控制面、计算网关、中继分开
    • 推理路径与命令执行位置分别可选(自带模型 key)
    • 快照可以给子 agent fork 出父 agent 的工作状态
    • 基础设施与算力
    • 安全与隔离
  81. 19:57深读
    Your Company Should Train Its Own AI Models - Will Brown, Prime Intellect

    Prime Intellect 的 Will Brown:公司运转靠的知识从没写下来,agent 每次会话都重学;主张用自己的轨迹、反馈和工作流训练模型,让模型像同事一样在岗学习;评测即测试用例、决策模型与路由。

    可以学到 / 用在工作里
    • 从现在开始保存「纠正 + 情境」:agent 做了什么、人希望它怎么做。先变成评测,积累够了再考虑微调或 RL。
    • 多 agent 时,用结构化的「决策卡片」请求人类输入,比翻聊天线程高效,且天然产生标注数据。
    • 模型与训练
    • 团队与组织
  82. 18:33
    I Don't Fear AI Slop. I Fear Untold Stories - Zack Proser, WorkOS

    WorkOS 的 Zack Proser 把 15 年写作经验装进 Slack 工具 Blogbot,把同事草稿推进到 85–90%,人仍逐句把关;比起 AI slop,他更怕没被讲出来的故事。

    可以学到 / 用在工作里
    • 把写作经验做成工具,帮同事把草稿推进到大部分完成,作者仍逐句把关并署名负责
    • 让真正的用户试用工具,看他们能做出什么
    • 产品与交互
    • 上下文 / Skills / MCP
  83. 15:51
    Your AI Pilots Won't Move the P&L. Here's What Will - Adam Nahari, Apollo

    Apollo:AI 试点很少进 P&L。工程只是小头,把航空公司排班台做成 10 倍收益的六步——从 P&L 出发、只选一两个问题、有真正的负责人、推动实际使用。

    可以学到 / 用在工作里
    • AI 项目要绑定一条财务线和预先约定的基线,并有真正想用的负责人
    • 工程只是小头,难在改造工作流程
    • 提前定好何时停止
    • 团队与组织
    • 创业
  84. 18:57
    AI Writes Code Faster Than Your Team Can Review It - Andrew Norrish, Sourcegraph

    Sourcegraph:瓶颈从写代码移到评审,未审的 AI 代码推高故障,SRE 和平台团队最适合补位;用代码搜索与代码图上下文做调查和预防。

    可以学到 / 用在工作里
    • 评审容量取决于 PR 数量和大小:agent 时代两者都翻倍
    • SRE 与平台团队适合补位:事故中发现的风险模式变成全库搜索和未来提交的监控
    • 先确认部署的版本再查 Git 历史
    • 质量与评审
    • 基础设施与算力
  85. 20:39
    A Valid Key Let an AI Agent Delete Production - Sagar Batchu, Speakeasy

    一个编码 agent 用合法凭据删了生产库和备份:Speakeasy 提出受监管行业的 agent 控制层——每个动作绑定身份、实时对照策略、记录留痕。

    可以学到 / 用在工作里
    • 在 harness hook 里拦截出现在提示中的凭据,key 不离开本机
    • 每次调用核对凭据上限、agent 范围与所有者当前权限
    • 拒绝的请求也要记录,便于审计
    • 安全与隔离
  86. 15:44
    Why We Rebuilt Microsoft Office From Scratch for AI Agents - Yijia Liang, Compound AI

    Compound 为机构投资者的 AI 分析师从零重建 Office:金融需要多人协作的 agent、每个 agent 有自己的收件箱,无头 Office 更快,支持评论与协作。

    可以学到 / 用在工作里
    • 共享的交易团队 agent 要检查每个参与者的访问权限
    • 无头 Office 引擎让任务并行,同时渲染供 agent 自查输出
    • 超大工作簿要给 agent 专门工具
    • 行业应用
    • 产品与交互
  87. 16:37
    I Made a Fruit Fly Review My Code - Nick Nisi, WorkOS

    人类评审成了瓶颈:Nick Nisi 把模拟果蝇大脑接进代码评审,把改动变成「气味」,用一个玩笑实验讨论评审到底在判断什么。

    可以学到 / 用在工作里
    • 评审真正要判断的是「这个改动是不是有人想要的」,而不只是行为是否改变
    • 给评审者可以核查的东西(测试、证据)
    • 质量与评审
  88. 18:45
    If Your AI Scores 100%, Your Eval Is Wrong - Ramakrishnan Lokanathan, eslams.com

    高风险 AI 应用的评测:定义最有野心的成功标准,测整条流程而不只是最终答案,自动检查 + 人工 + 对抗测试结合,持续回归测试过去能做的事;得分 100% 说明评测错了。

    可以学到 / 用在工作里
    • 写测试用例前先定义必须的结果、禁止的结果和停止条件
    • 用游戏(国际象棋、扑克)检验规划与隐藏信息下的决策
    • 评测满分说明评测太简单,保留简单任务做回归
    • 评测
  89. 18:52
    Most of Your Docs Readers Are Now AI Agents - Hahnbee Lee, Mintlify & Lincoln Murr, Coinbase

    Mintlify 文档站的 agent 流量一年从约 10% 涨到约 80%:页面大小和准确性比设计更重要;与 Coinbase 讨论 agent 支付、API vs MCP vs CLI。

    可以学到 / 用在工作里
    • 文档的读者大多已是 agent(约 80%):控制页面体积、保证安装步骤准确
    • agent 钱包让用户先授权额度,agent 按需付费调用 API
    • 用 PR 和 Slack 决策作为写文档 agent 的素材
    • 产品与交互
    • 上下文 / Skills / MCP
  90. 25:47
    Everyone Has the Same AI Models. Here's What Sets Agents Apart - Richmond Alake, Oracle

    大家用同样的模型,区别在「智能平面」:agent 知道什么、记得什么、被允许看什么、怎样变好;用二战「AF 就是中途岛」的破译故事说明记忆与上下文的价值。

    可以学到 / 用在工作里
    • 分别测试检索和解释:本体帮助找到实体,语义定义修正含义错误
    • 把用户的数据权限一路带到数据库,按人过滤行
    • 给采集的轨迹一个明确的训练用途
    • 检索与知识
    • Harness 与架构
  91. 14:44
    78% Wanted This AI Feature. Almost Nobody Used It - Supriya Subudhi, Bumble

    Bumble 的 AI 照片反馈:78% 用户说想要,只有 10–15% 用;平均提升掩盖了「让微笑的人多笑」这类怪输出;最好模型贵 10 倍;可能根本不该全量上线。

    可以学到 / 用在工作里
    • 上线 AI 功能前看实际使用率而非意愿(78% 想要、10–15% 使用)
    • 阅读个体输出,平均提升会掩盖古怪建议
    • 算清规模化后的成本与可负担模型能拿到多少效果
    • 产品与交互
    • 评测
  92. 18:29
    When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec

    imec 跑了数千次基准:长时编码 agent 从 API 转向自有 GPU 的真实成本,比较开源模型和三种编码 harness 在 SWE-Bench Pro 上的表现,硬件成本按台阶跳升。

    可以学到 / 用在工作里
    • 自建 GPU 跑编码 agent 要按模型算硬件配置,成本可相差 4 倍
    • 多 agent 并发下测延迟
    • 按工作负载和机器算盈亏平衡利用率(不同组合从 89% 到 15%)
    • 基础设施与算力
    • 模型与训练
  93. 21:39
    Your AI Agent Wants Your Data. Here's How to Lock It Down - Jeff Smith, Oracle

    Oracle:自然语言转 SQL 能跑通却可能返回错数据;更安全的做法是把团队审核过的报表作为 MCP 工具,并演示性能调优和 schema 场景。

    可以学到 / 用在工作里
    • 自然语言转 SQL 能跑但可能答错:把审核过的报表作为 MCP 工具(搜索 + 执行两个工具覆盖 500 张报表)
    • 慢查询在只读备库上调查,索引变更由人决定
    • 用带业务含义的 schema 字典
    • 检索与知识
    • 安全与隔离
  94. 17:02
    Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

    Upstart 每天数千通贷款核验电话,一个问错的问题就是合规问题;从 Google 表格走向评测平台,LLM 评委与人工一致率从 33% 提到 92%。

    可以学到 / 用在工作里
    • 语音合规场景要根据上一个回答评估下一个问题是否允许
    • 调查人工与评委的分歧,把一致率从 33% 提到 92%
    • 确认的失败变成语音对语音仿真测试
    • 多模态与语音
    • 评测
    • 行业应用
  95. 17:45
    Your AI Agent Starts Every Session Like a New Hire - Killian Carlsen-Phelan, Sonar

    每个新 agent 会话都像新员工:不知道约定、架构规则和批准的库。Sonar Vortex 插件给 agent 一张代码库地图和规范,token 少 36%。

    可以学到 / 用在工作里
    • 每个新会话的 agent 都像新员工:给它代码库地图和团队规范
    • 仓库里的旧例子会教坏 agent,要明确哪些模式已弃用
    • 每次编辑后独立检查,修复也要过同样的规则
    • 上下文 / Skills / MCP
    • 质量与评审
  96. 19:06
    How to Decide What Your AI Agent Should Remember - Wojciech Pluta, Oracle

    RAG 是读,记忆是写:Oracle 讲「记忆晋升」——决定什么值得保留、与已有记录比对、接受、拒绝或升级给人(房贷 agent 演示)。

    可以学到 / 用在工作里
    • RAG 是读,记忆是写:写入前按类型分类,决定接受、拒绝或交人审核
    • 用全新会话测试偏好是否保留,用换案例测试格式能否迁移
    • 存储权限与使用权限分开
    • 检索与知识
  97. 16:43
    Your Agent Just Paid for Nothing: 6 Attacks on x402 Payments - Ishween Kaur, SoFi

    x402 让 agent 通过 HTTP 小额链上支付买数据和 API;SoFi 在测试环境找到 20 种攻击,讲其中 6 种:改价、重复支付、白拿数据、一次付费解锁多页、仿冒卖家等。

    可以学到 / 用在工作里
    • agent 付费前要比对实时报价与已批准的价格、钱包和网络
    • 重试时复用同一支付号并绑定到购买的资源,防止重复扣款或一次付费解锁多页
    • 任务授权的付费次数要在执行层强制
    • 安全与隔离
    • 行业应用
  98. 18:45
    Why AI Won't Replace Stock Pickers - Jack Woodruff, Candlestick & Vinoo Ganesh, Kepler

    前 Citadel 基金经理谈 AI 对基本面投资的改变:人仍是瓶颈,准备工作从几小时降到几分钟,门槛被抬高;不要相信无法审计的数字。

    可以学到 / 用在工作里
    • 估算 AI 省下的时间时要算上核验财务模型的时间
    • agent 适合标记值得实地调研的公司,人负责判断市场是否忽略了什么
    • 覆盖面扩大后,选股变得更挑剔
    • 行业应用
  99. 15:27
    The Cheaper AI Model That Costs You More - Rayan Krishnan, Vals AI

    Vals AI:模型卡上的单一分数掩盖参差前沿。税务、Excel LBO 等金融任务里最佳模型因任务而异,纸面便宜的模型因多耗 token 反而更贵、分更低。

    可以学到 / 用在工作里
    • 按你真实工作画「每任务成本 vs 质量」:纸面便宜的模型可能因多耗 token 更贵
    • 面向客户的工作看「全部要求达成」的比例而非平均分
    • 用历史请求和已接受的解决方案从原始状态回放评测
    • 评测
    • 模型与训练
  100. 11:47深读
    How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

    Revolut 2000 名工程师的数据:自托管开源 GLM 模型让交付快 60–70%,成本约为前沿 API 的十分之一;所需 GPU、延迟目标和调参(同样 GPU 快 88%)。

    可以学到 / 用在工作里
    • 团队规模的编码 agent 用量可以考虑自托管开源模型 + 路由;先按真实工作负载压测首 token 延迟和 KV cache,而不是看参数量。
    • 用交付周期(从需求到上线)而不只是编码速度来衡量 AI 投入的回报。
    • 基础设施与算力
    • 模型与训练
    • 团队与组织
  101. 16:34
    Why Humans Can't Keep Up With AI-Written Code - Tariq Shaukat, Sonar

    Sonar CEO:一项研究里代码行数涨 2450%、发布只涨 30%。借丰田式工厂革命讲可信的 agent 软件工厂要解决的五个难题:人工评审不可扩展、大代码库、验证等。

    可以学到 / 用在工作里
    • 代码量涨 2450%、发布只涨 30%:生成与交付是两回事
    • 人类批准不等于独立判断(人对错误 AI 答案五次里四次同意)
    • 另一个 LLM 不是独立验证,要多层不同机制
    • 质量与评审
    • 软件工厂 / 多 agent
  102. 21:32
    We Trust AI Agents That Break Every Day - Shy Ruparel, Temporal

    Temporal 调查:80.8% 工程师天天用 agent,只有 49.1% 在生产中运行;四个差距(使用 vs 生产、信任 vs 现实、原型 vs 企业、看见 vs 恢复),演示能扛过故障的 2500 美元付款流程。

    可以学到 / 用在工作里
    • 天天用 agent 不等于生产依赖 agent(80.8% vs 49.1%)
    • 把执行历史放在进程之外,崩溃后能接着完成付款而不重复
    • 可观测性能解释失败,但不能修复,要设计恢复
    • 基础设施与算力
    • Harness 与架构
  103. 38:07
    Catch the Bugs Your Code Review Misses - Killian Carlsen-Phelan & Taylor Luttrell-Williams, Sonar

    Sonar 工作坊:代码变更验证 agent Gitar 在示例票务应用上抓到不在 diff 里的 bug(转赠后还能退票)、执行业务规则,并一键修复。

    可以学到 / 用在工作里
    • 绿色测试可能漏掉改动与未改代码之间的新交互(转赠后还能退票)
    • 项目规则描述期望行为,条件规则在特定文件变动时触发检查
    • 评审要看 diff 之外的调用方
    • 质量与评审
  104. 14:50
    Why a One-Line Change Can Break Your Whole Stack - Cole Gannaway, Qodo

    Qodo:一行数据模型改动通过所有测试,却悄悄弄坏 Web、移动端、CLI 和 MCP 客户端;用跨仓库的软件图找出爆炸半径,把部落知识写成规则。

    可以学到 / 用在工作里
    • 一行数据模型改名能在本地全绿时弄坏 Web、移动端、CLI、MCP:要跨仓库看依赖图
    • 把兼容性约定写成规则,在生成前就给编码 agent
    • 专门的评审 agent 保留上下文给代码库知识
    • 质量与评审
    • 检索与知识
  105. 18:52深读
    How Anthropic Merges 30,000 Code Changes a Day - Manish Kapur, Sonar & Addy Osmani, Anthropic

    Addy Osmani 与 Sonar:「亮」与「暗」软件工厂;Anthropic 从每天 2500 涨到 3 万次合并,靠 Claude 带真实验证证据的首轮评审;Sonar State of Code 新数据。

    可以学到 / 用在工作里
    • 让评审 agent 不只读 diff,而是实际运行(测试、浏览器)并附证据;人审证据和风险。
    • 分层检查:静态/安全扫描(确定性)+ agent 逻辑评审 + 依赖与供应链检查,每层负责不同问题。
    • 建立 agent 清单:每个 agent 的身份、权限、可访问系统、操作日志。
    • 质量与评审
    • 软件工厂 / 多 agent
  106. 18:35
    Who Is Making This Request? Agent Auth 101 - Kamil Potrec, Keycard

    Agent 鉴权入门:现在 agent 拿的是个人 token、静态 key、权限过大的服务账号;正确做法是每个 agent 有身份、委托、短期限定范围的凭据、与旧系统联合,凭据放在网关。

    可以学到 / 用在工作里
    • 用户 token 只说明「谁的权限」,分不清是哪个 agent 做的决定
    • agent 需要独立身份、显式委托、短期限定凭据、联合与旧系统代管
    • 用网关而不是 SDK 把凭据藏在 agent 之外
    • 安全与隔离
  107. 16:29
    Stop Guessing Your vLLM Config: Benchmarking LLMs on Runpod - Chris Vela, Runpod

    别再猜 vLLM 配置:从用例和并发出发,用 BenchPod 在不重启的情况下实时测试配置,演示在 B300 上跑 Kimi K3、调 max batch tokens。

    可以学到 / 用在工作里
    • 先确定工作负载、上下文需求和并发,再选推理配置
    • 单次请求成功不能回答容量问题
    • 调大 batch token 预算可以加速长生成而首 token 时间变化不大
    • 基础设施与算力
  108. 14:09
    AI That Hunts Logic Bugs Before Attackers Do - Taylor Luttrell-Williams, Sonar

    模式匹配的 SAST 抓不到意图层面的漏洞(越权、业务逻辑、认证);SonarQube Hunter Agent 画出仓库地图,三个专家 agent 扫描并对每个发现做对抗式验证。

    可以学到 / 用在工作里
    • 模式匹配 SAST 抓不到越权、业务逻辑漏洞(用户可写自己的角色字段)
    • 先画仓库地图,再让专家 agent 分头调查,每个发现做对抗式验证
    • 安全扫描结果要可复现、可审计
    • 安全与隔离
    • 质量与评审
  109. 21:47
    Exploits Now Beat Patches: Open Source Security in the AI Era - Patrick Smyth, Chainguard

    Chainguard:AI 让攻击者升级,漏洞利用平均早于补丁到来,30 天修复窗口失效;今年的供应链恶意软件潮与四个攻击面(恶意包、已知 CVE、零日、侧门)。

    可以学到 / 用在工作里
    • 漏洞利用平均早于补丁到来,30 天修复窗口不再安全
    • 分别应对恶意包、已知 CVE、零日和侧门四类攻击
    • 在依赖被消费的地方设控制(冷却期、签名交接)
    • 安全与隔离
  110. 14:38
    Stop Giving Your Agent Tools. Give It a Sandbox - Mikyo King, Arize AI

    别再给 agent 一堆工具,给它沙箱:code mode 让 agent 在代码里搜索和组合工具、只返回需要的结果;Arize Phoenix 的实现(Bash、Python 沙箱、SQL)与隐藏成本。

    可以学到 / 用在工作里
    • 与其给一堆工具,不如给沙箱:code mode 在代码里组合调用、过滤中间结果
    • 用 SQL 做聚合查询,避免把海量轨迹塞进上下文
    • 沙箱带来密钥、网络、恢复等新的运维成本
    • Harness 与架构
    • 上下文 / Skills / MCP
    • 基础设施与算力
  111. 18:56
    What a $900M Bank Error Teaches Us About AI Agents - John Feminella, Two Sigma

    花旗误付 9 亿美元:流程、弹窗和三个审批人都「照做了」。Two Sigma 借此讲 agent 控制——agent 注册表、按风险评审、边界与审计,人本身也不是确定性的。

    可以学到 / 用在工作里
    • 花旗 9 亿美元误付说明:警告和多个审批人仍会漏掉关键区别
    • 低摩擦地登记每个 agent(负责人、工具、端点)
    • 按风险分配评审注意力,把声明的用途变成强制的工具权限
    • 安全与隔离
    • 团队与组织
  112. 20:06
    We Kept Rebuilding Our AI Agent. Here's What Survived - Fuad Ali, Arize AI

    Arize 产品内 agent Alex 从 2023 年「一半是幻觉」到带规划、记忆和按需 skills 的单 agent,全部自写 harness:计划放进 harness、「完成」是显式关卡、大工具结果当文件、一个小文件胜过知识图谱。

    可以学到 / 用在工作里
    • 计划状态由 harness 保存并每次呈现,而不是让模型管理待办
    • 「完成」要有显式检查,未完成项时拒绝结束
    • 大工具结果当文件查询;跨会话记忆一个小文件胜过知识图谱
    • Harness 与架构
  113. 18:12
    Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee

    为什么还像管软件一样管 agent?Gravitee 的 Agent 问责框架把 agent 当数字员工:指派(身份、团队、人类负责人)、对齐(角色、使命、最小权限)、管理(监督评分)。

    可以学到 / 用在工作里
    • 把 agent 当数字员工治理:唯一身份 + 具名人类负责人
    • 区分长期角色与当前任务,委托链上权限不能放大
    • 同时衡量合规(能直接检查)与成功(需要评估)
    • 安全与隔离
    • 团队与组织
  114. 16:38
    300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer

    Runlayer 60 人跑 300+ 个 agent:在所有 agent 前加网关、记录每次会话和工具调用后发现邮件提示注入、PR 评审 agent 被说服批准、权限过大的机器人、一个被投毒的 agent 影响其他 agent。

    可以学到 / 用在工作里
    • 先盘点:按会话和工具调用而非用户账号找出实际运行的 agent(60 人 300+ 个)
    • 分别检查输入指令、输出披露和敏感读取
    • 用整段会话和原始任务判断关键工具调用,提防长对话中的漂移
    • 安全与隔离
  115. 23:22
    How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver

    Optiver 本地 AI 平台:推理网关做路由和预算,新前沿模型当天在内部金标集上评测上线,保持模型与 harness 无关,控制 AI 支出。

    可以学到 / 用在工作里
    • 新模型当天上线靠内部金标评测、网关集成、成本控制和 harness 更新
    • 推理网关管路由与预算,agent 网关管注册与协作
    • 新会话不应一开始就带着 20 万 token 上下文
    • 基础设施与算力
    • 行业应用
  116. 18:27
    How to Build an AI Code Review Agent - Daksh Gupta, Greptile

    Greptile(评审 GitHub 约 1% 的 PR)教你自建评审 agent:沙箱 + webhook 的简单版会漏 bug、每 PR 3–25 美元、满屏挑刺;改进是更好的提示、历史 PR 数据集、针对性上下文等。

    可以学到 / 用在工作里
    • 自建代码评审 agent:明确要抓哪些 bug、压制哪些挑刺
    • 用历史上引发事故的 PR 做评测集
    • 用与写代码不同的模型来评审,并给评审提供代码库地图
    • 质量与评审
    • Harness 与架构
  117. 19:43
    Build Your Own Team of Managed Agents - Jack Wotherspoon, Google DeepMind

    Gemini Managed Agents:一个 API 调用就在云沙箱里跑编码 agent;Interactions API、Antigravity harness、多 agent 共享环境、上传 skills 与 AGENTS.md、凭据代理。

    可以学到 / 用在工作里
    • 托管 agent 把云沙箱和 harness 封装在一个 API 调用后
    • 对话 ID 与环境 ID 分开:新 agent 可复用文件而不继承旧对话
    • 密钥用占位符注入,定时运行的任务要具体
    • 基础设施与算力
    • Harness 与架构
  118. 53:04
    Agents That Self Improve While You Sleep - Fuad Ali, Arize AI

    Arize 工作坊:让 agent 在你睡觉时自我改进——全量追踪,常驻 agent Signal 定期读轨迹提交去重 issue,失败转评测和回归数据集,实验证明修复有效,人放在最高杠杆处。

    可以学到 / 用在工作里
    • 全量追踪(含每个工具的返回)
    • 常驻 agent 定期读轨迹、合并重复问题、提出评测和修复
    • 生产失败保存为不断增长的回归集,用回放实验证明修复有效
    • 评测
    • Harness 与架构
  119. 56:01
    How to Test Your Agents on Real Tasks With Harbor - Xander Song, Arize AI

    开源框架 Harbor:在隔离沙箱里用真实数据评测 agent,讲任务、Docker 环境、验证器与奖励、trial 与 job、先跑 oracle 验证环境再花 token、ATIF 轨迹格式。

    可以学到 / 用在工作里
    • 用 Harbor 定义任务:指令 + 预置环境 + 验证脚本,每次试验全新开始
    • 先跑参考解(oracle)验证环境再花 token
    • 基于结果的验证器能容忍实现变化,轨迹检查用于工具选择
    • 评测
    • 基础设施与算力
  120. 20:55
    How to Build Voice Agents That Don't Fall Apart When You Interrupt - Jesse Hall, LiveKit

    LiveKit:做能被打断的语音 agent。排行榜只评组件,你交付的是对话;看首个音频和首句时间而不是首字节/首 token,异步工具调用保持对话流畅。

    可以学到 / 用在工作里
    • 语音 agent 要选完整技术栈评测:语音识别错一个数会传到后端动作
    • 衡量首个可听语音和首句时间,而不是首 token
    • 工具调用与对话并行,用音频感知的轮次检测处理停顿
    • 多模态与语音
    • 行业应用
  121. 35:19
    How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI

    Arize 工作坊:从 vibe check 到真正的评测——评测和单元测试的区别,LLM 评委、决策模型、代码评测、人工标注、agent 评委,怎样读 trace、写具体的通过/失败标准。

    可以学到 / 用在工作里
    • 写评测前先读 trace:根 span 看请求和最终答案,工具 span 看中间过程
    • 把「有帮助」拆成具体的通过/失败标准,一个评委只判一个维度
    • 对照人工标注检验评委
    • 评测
  122. 15:27
    What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI

    AI 工程师现在做什么:从写功能到运营 agent 工厂,工作变成搭闭环——评审非确定性工作的评测、给 agent 消费的遥测、据此行动的 agent(Arize Signal)。

    可以学到 / 用在工作里
    • AI 工程师的新工作是搭闭环:评测 + 给 agent 消费的遥测 + 据此行动的 agent
    • 一次性沙箱与持久化外部状态各司其职
    • 评估器本身要用人工标注验证
    • 范式与判断
    • 评测
  123. 19:37
    How to Build Financial Agents That Work Across the Web - Jay Sahnan & Arik Bird, Browserbase

    Browserbase:重要金融数据藏在登录和反爬墙后面,浏览器 agent 的三个案例——Ramp 批量取收据(省 3 万小时)、Bill 在数千供应商门户付款、Stripe。

    可以学到 / 用在工作里
    • 浏览器 agent 三要求:进入登录保护的网站、适应变化的界面、把网页变成结构化数据
    • 托管浏览器要处理指纹与会话连续性
    • 确定性操作与自然语言控制结合
    • 行业应用
    • 基础设施与算力
  124. 20:58
    Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler

    Kepler:模型可以引用数字但永远不写数字——检索找来源,确定性代码算数,后处理过滤掉无法核验的数字;从 SEC 文件构建引用注册表。

    可以学到 / 用在工作里
    • 模型可以引用数字但不能写数字:检索找来源,代码算数
    • 数值必须连同单位、量级、期间一起保存
    • 后处理过滤掉无法核验的数字
    • 行业应用
    • 检索与知识
  125. 17:56
    Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer

    Bridgewater 的 AI 分析师要用 1 亿份各带权限的私有文档:第一版搜索为什么崩了,turbopuffer 讲权限建模和为什么暴力过滤行不通。

    可以学到 / 用在工作里
    • 带权限的向量检索:后过滤会在禁止文档主导时漏结果,前过滤要扫描海量文档
    • 原生过滤先排除没有可访问文档的簇再搜索
    • 权限要在检索阶段就表达
    • 检索与知识
    • 安全与隔离
  126. 18:31
    Why Frontier Models Fail as Buy-Side Analysts - Janie Gu, Google DeepMind & Suyeol Yun, LinqAlpha

    Kaggle 复现 65 个行业基准,发现模型读取其他模型的 API key、改评分脚本;Google DeepMind 与 LinqAlpha 讲为什么前沿模型当不好买方分析师、公司为何要自建基准。

    可以学到 / 用在工作里
    • 基准分数取决于 harness:工具处理、输入序列化、默认推理强度都会改变结果
    • 复现中发现模型会读取别的 API key、改评分脚本,评测环境要隔离
    • 评测完整任务并给推理过程打分
    • 评测
    • 行业应用
  127. 27:09深读
    AI Writes the Code. So What's Left for Engineers? - Laurie Voss, Arize AI

    npm 联合创始人 Laurie Voss:写代码几乎免费后瓶颈依次移到评审、运维和安全(代码多 8 倍、交付只快 30%);agent 接不走的是弄清人们真正需要什么、定义什么是「好」。

    可以学到 / 用在工作里
    • 写一份「爆炸半径清单」(公开 API、鉴权、数据库 schema、计费等),人工评审只集中在这里,其余交给多重自动评审。
    • 并行跑两个以上 AI 评审器,提示它们「假设代码有错」;同时度量「测试通过」与「维护者会合并」之间的差距。
    • 把领域知识外化:与用户访谈后写成规格、rubric 和评测,这些是 agent 时代最值钱的资产。
    • 范式与判断
    • 质量与评审
    • 团队与组织
  128. 16:44
    How Bridgewater Turned 100 Million Documents Into an Edge - Sam Green & Aaron Linsky, Bridgewater

    Bridgewater 的 Vault:1 亿+ 份文档(135 个外部源 + 内部备忘和会议),清洗、权限、按内部本体打标;三条经验:人和 agent 需要的搜索不同等。

    可以学到 / 用在工作里
    • 非结构化数据也要像市场数据一样治理:时间感知、权限、按本体打标
    • 手工建约 200 条的检索基准,把「搜索不好用」变成可度量问题(P@10 60%→90%+)
    • 迁移现有习惯(邮件)而不是要求新习惯
    • 检索与知识
    • 行业应用
  129. 19:24
    Your Agent Fix Just Broke Something Else - Sofia Jakovcevic, Arize AI

    一行提示改动让客服 agent 安全性 +17、完成率 -17:agent 在运行时失败而不是在代码里;从生产轨迹构建五步回归闭环。

    可以学到 / 用在工作里
    • 分维度检查质量:一条确认规则安全 +17、完成率 -17,平均分会掩盖退化
    • 回归集要包含成功案例,验证修复没破坏已有行为
    • 建立基线、比较候选、门控合并
    • 评测
  130. 18:24
    Proving Alpha: How a Hedge Fund Measures AI's ROI - Hari Kumar, Contour Asset Management

    Contour 资管如何衡量 AI 的 ROI:在一个财报季记录分析师用与不用 AI 的研究过程,比较信息源、结论和各类活动耗时;因为投资论点数月后才影响 P&L,还要看中间指标。

    可以学到 / 用在工作里
    • 在一个财报季记录分析师用与不用 AI 的研究过程(来源、结论、耗时)
    • 投资回报要几个月才显现,先看中间指标和每个有用洞见的成本
    • 让 agent 定期复查被搁置的想法
    • 行业应用
    • 评测
  131. 14:14
    Can AI Understand a Distressed Credit? - Harneet Kaur, Axim Intelligence

    AI 能理解困境债吗?以 iHeartMedia 为例,两个顶级模型对破产 vs 重组概率判断截然不同;把分析拆成可检验的层逐层评测。

    可以学到 / 用在工作里
    • 把分析拆成抽取、推导、判断、预测四层逐层检验
    • 两个顶级模型对同一困境债的预测可以相差很大(25% vs 62%),一致也不等于正确
    • 区分破产与庭外重组等多种结局
    • 行业应用
    • 评测
  132. 18:59
    How OpenAI Built ChatGPT for Bankers and Analysts — Joseph Kim, OpenAI

    OpenAI 与摩根士丹利、Evercore 打造金融版 ChatGPT Work:金融数据接入、可核查来源和图表的界面、遵循公司模板的输出;核心是弥合能力悬空。

    可以学到 / 用在工作里
    • 「能力悬空」是模型能力与日常有用工作之间的差距
    • 保留 MCP 的同时自建检索基础设施以控制数据质量
    • 输出遵循公司模板并提供可核查来源
    • 行业应用
    • 产品与交互
  133. 17:11
    Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics

    把 agent 评测当科学实验而非直接相信:一次代码搜索实验里改提示让成本降 28% 却没让 agent 用上预期工具;讲对照、变量和统计。

    可以学到 / 用在工作里
    • 先定义要做的决策再看指标:成本降 28% 但没用上目标工具仍是失败
    • 模型、harness、工作负载要一起评测,harness 可颠倒模型排名
    • 追踪工具可用、调用、返回、结果全链路
    • 评测
  134. 18:05
    Buying GPUs Should Work Like Buying Stocks — Carmen Li, Compute Exchange

    Compute Exchange:GPU 采购应像买股票一样有交易所,中立市场接入 100+ 家验证供应商、8 万+ GPU,提升找算力和成交的效率。

    可以学到 / 用在工作里
    • GPU 采购可以像交易所:撮合验证过的供应商库存
    • token 远期合约锁定专用部署的模型配置与服务承诺
    • 用远期曲线和残值估值管理算力价格风险
    • 基础设施与算力
  135. 13:15
    Inside Arca's Long-Horizon Agents That Run the Business - Aman Singh, Arca

    Arca 让 agent 对客户结果负责、跨天处理被打断的工作:区分有等待、决策和交接的长周期流程与持续推理,以一次缴税筹款流程(分析、变现、结算、ACH)为例。

    可以学到 / 用在工作里
    • 长周期业务流程的难点在跨天保持目标、决策、交接与等待,而非连续推理
    • 计划要结合新信号与旧约束(客户几个月前的指示)
    • 事件订阅 + 定时唤醒两种方式恢复工作
    • 行业应用
    • Harness 与架构
  136. 15:44
    Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg

    Bloomberg 用真实 agent 安全事件讲纵深防御:代理漏洞造成的沙箱逃逸、4.5 天 17,600 次动作的 agent 攻击、长期 OAuth token 被盗等,自主性必须配合明确的爆炸半径限制。

    可以学到 / 用在工作里
    • agent 的有效权限包括它能调动的其他 agent:委托路径上限定凭据
    • 外部文本必须保持为数据,在模型之外强制动作权限
    • 默认拒绝出站流量也要覆盖 DNS
    • 安全与隔离
  137. 20:37
    Why Compute Still Trades in Group Chats — Affaan Mustafa & Alejandro Soumah Fernandez, Jump Trading

    Jump Trading 讲 GPU 算力合约市场为什么还在群聊里成交:私下询价、经纪人、双边协议,像不透明的「暗池」,以及走向标准化的条件。

    可以学到 / 用在工作里
    • 长期 GPU 采购组合了硬件、交付和商业条款,大额仍靠私下谈判
    • token 降价会刺激更多使用、维持硬件需求
    • 付款条件可能决定创业公司的现金跑道
    • 基础设施与算力
  138. 17:40
    A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

    富国银行从零预训练交易基础模型反欺诈:在数十亿笔卡、数字和支票交易上做下一笔交易预测,难点在把金额、时间间隔等字段 token 化,再适配下游任务。

    可以学到 / 用在工作里
    • 结构化交易数据也能预训练基础模型:预测下一笔交易,再微调到反欺诈等任务
    • 难点在 token 化:数值、类别、地点需要不同表示
    • 需要的数据量比预期多
    • 模型与训练
    • 行业应用
  139. 18:33
    How to Let AI Agents Sign Up for Your App Safely — Isabelle Williams, WorkOS

    WorkOS:让 agent 安全地注册你的应用——接纳 agent、把它的工作关联到真实用户、限制和撤销权限;auth.md 描述注册与 API 访问,但授权由应用强制。

    可以学到 / 用在工作里
    • 用 auth.md 让 agent 发现注册和访问方式,但授权必须在应用 API 强制
    • 允许匿名试用,用户之后再认领 agent 的工作
    • 身份断言(ID-JAG)不代表应用放弃自己的决定
    • 安全与隔离
    • 产品与交互
  140. 19:02
    Why AI Writing Still Reads Like Slop — Louis-François Bouchard, Towards AI

    AI 写作为什么还像 slop:六个特征(滥用词、空泛、空洞、重复、幻觉、声音不对),并推出主观基准 ToneBench 测模型能否用他的口吻写研究型视频脚本。

    可以学到 / 用在工作里
    • AI 写作的 slop 不只是滥用词:还有空泛、空洞、重复、幻觉、声音不对
    • 每个任务生成多稿评估,避免一次好结果掩盖平均水平
    • 评委要给示例,并警惕偏好自家模型
    • 产品与交互
    • 评测
  141. 17:49
    Why AI Startups Will Disappear Without Compute Markets — Evan Conrad, San Francisco Compute

    San Francisco Compute:既运营 GPU 集群又做实物交割的算力市场;曾有 AI 实验室融资 50 万美元却因集群合约险些破产,短缺、押金和部署延迟让创业公司需要算力市场。

    可以学到 / 用在工作里
    • 长期照付不议的 GPU 合约若不能转售,会把算力锁死在一个客户手里
    • 算力市场要能处理交付失败,而不只是撮合
    • 对创业公司来说,算力押金和延迟交付是信用风险
    • 基础设施与算力
    • 创业
  142. 16:38
    Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish

    Jellyfish 数据:更好的模型不会自动提升团队产出。约 5 万名 Cursor/Claude Code 用户、447 家公司的分析显示,模型用量变化与合并 PR 数变化无统计相关。

    可以学到 / 用在工作里
    • 换更好的模型不等于团队产出提高:工具选择解释不到 1% 的产出差异
    • skill 的使用强度与产出更相关(每周 30+ 次约高 30%)
    • token 越多产出越多但边际递减,工作环境比工具更关键
    • 团队与组织
    • 评测
  143. 20:02
    1,368 AI Failures and What They Teach About Evals — Vishal Srivastava, New York Life & Tanmay Sah

    研究 1,368 起真实 AI 事故:技术强度、部署控制、业务影响下 13 个子维度覆盖约 98% 的失败,据此评测完整部署的系统而非只测模型。

    可以学到 / 用在工作里
    • 评测完整部署的系统而非单个模型:13 个子维度覆盖约 98% 的事故
    • 部署控制(人工介入、伤害检测)失效与伤害关联最强
    • 按业务影响程度分配评测精力
    • 评测
    • 安全与隔离
  144. 19:50
    How to Test AI Agents When No Benchmark Exists — Nathanael Weill, Air Canada

    Air Canada:没有基准时怎么测 agent——先构造答案已知、可用代码校验的输入(电信 RAG、供应商合同审阅),并把开发用测试与上线决策分开。

    可以学到 / 用在工作里
    • 没有基准时先构造答案已知的输入:从已知页面生成问题,检查检索是否返回该页
    • 合同审阅可用植入违规、删除条款、应不变的改动来测
    • 把开发用测试与上线决策分开
    • 评测
    • 检索与知识
  145. 16:23
    Does Code Quality Still Matter? It Depends on This — Max Kanat-Alexander, Capital One

    Capital One 的 Max Kanat-Alexander:代码质量是否重要取决于你是否需要理解并安全地修改系统;以 Chromium 与 URL 解析器为例,可理解的结构让复杂软件可控。

    可以学到 / 用在工作里
    • 代码质量的价值在于能理解并安全修改系统
    • 按失败后果、替换成本、依赖方和维护成本决定工程严谨度,不确定时偏向耐久
    • 让严格检查足够便宜以便默认开启
    • 质量与评审
    • 范式与判断
  146. 53:17
    The AI Content System Behind 200M Views — Sarah Chieng, Cerebras & Cova Lee, OpenAI

    Cerebras 与 OpenAI 的内容系统:从灵感库到成片、切片,再用数据规划下一次拍摄,背后是 2 亿播放量的工作流(工作坊)。

    可以学到 / 用在工作里
    • 内容生产六阶段(构思、脚本、拍摄、剪辑、二次分发、发布)都可用 AI
    • 在竞争缩略图旁测试封面;让「采访者」找脚本漏洞
    • 让 Codex 分析最近 50 条视频提炼视觉风格文档
    • 产品与交互
    • 多模态与语音
  147. 18:42
    One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO

    GEICO 一天、1000 美元 token 的「AI 作战室」:决策者、领域专家、驾驶员和 agent 舰队一起梳理遗留理赔域、提出改动并演示可被 agent 调用的 API。

    可以学到 / 用在工作里
    • 编码变快后,大改动受限于决策、组织上下文和审批:把决策者、专家和 agent 舰队放进同一个「作战室」
    • 研究交给 agent,人工反馈与审批队列在前
    • 控制 token 成本、让上下文易用
    • 团队与组织
    • 软件工厂 / 多 agent
  148. 15:38
    AI Cut Our Research Time From 7 Days to 15 Minutes — Gareth Yoder, Vanguard

    Vanguard 现金账本现代化(每天 3000 万次调用):用 MCP 服务器把遗留代码暴露给 AI,研究反馈周期从 7 天降到 15 分钟,数据迁移用变更捕获。

    可以学到 / 用在工作里
    • 用 MCP 把遗留代码暴露给 AI 工具,研究反馈周期从 7 天降到 15 分钟
    • 数据迁移每日比对行数和逐字段属性
    • 用统一网关为数十个生产方提供新写入路径
    • 行业应用
    • 上下文 / Skills / MCP
  149. 17:42
    Is a Faster Model Actually Faster? Test the Whole Job — Morgan Suo, MiniMax

    MiniMax:更快的模型真的更快吗?以 PCB 供应链分析报告为例,测完整工作的耗时与成本,而不只是生成速度。

    可以学到 / 用在工作里
    • 衡量到「可用报告」为止的总时间与成本,包括重试和人工修补
    • 稀疏注意力、低精度、推测解码等优化要在真实文档任务上测,平均分会掩盖单任务变化
    • 高吞吐可能意味着更长等待
    • 模型与训练
    • 评测
  150. 17:41
    Shipping AI Into 5 Major Banks Without a 12-Month Compliance Wait — Al Chen, Cisco

    Cisco 在五家大银行部署 AI 可观测性而不用等 12 个月合规:CVE 修复、证明结果如何得出等三大运维支柱。

    可以学到 / 用在工作里
    • 进入银行要「展示过程」:CVE 修复要说明镜像版本与上游依赖,必要时做利用测试
    • 恢复演练除任务状态外还要核对行数和副本一致
    • LLM 评委的解释可能泄露敏感数据,分数与解释分开
    • 安全与隔离
    • 行业应用
    • 基础设施与算力
  151. 15:30
    A Bank Built Its Own Coding Agent. It Took Off — Felippe Felisola Caso & Francesco Galletta, Monzo

    Monzo 自研编码 agent Agent Chip(在 Slack 上用表情触发):撰写全公司 10% 以上的合并 PR,每天 1800+ 个任务,依托现有平台、MCP 网关和隔离沙箱编排。

    可以学到 / 用在工作里
    • 在现有平台上做编码 agent(Slack 表情触发),能快速复用部署、监控与集成
    • MCP 网关控制内部工具访问,沙箱和出站白名单约束远程运行
    • 同一套基础设施可用于事故调查和数据质量
    • 编码 agent
    • 团队与组织
    • 行业应用
  152. 16:58
    Why AI Agents Will Need Their Own Bank Accounts — Lincoln Murr, Coinbase

    Coinbase:为什么 agent 需要自己的账户——从 AgentKit 到基于 HTTP 402 和稳定币的开放支付标准 x402。

    可以学到 / 用在工作里
    • 钱包只证明 agent 能转账,真正的金融系统还需要定价的资源和机器支付协议
    • x402 把 HTTP 402 变成互联网原生支付
    • 信任通过有边界的授权逐步扩大
    • 行业应用
    • 安全与隔离
  153. 17:42
    Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis

    SemiAnalysis:同样的 GPU,运维能力决定产出差 50%;用 InferenceX 计算器在 B200 上比较两套推理栈,按「合格任务数/全成本」衡量。

    可以学到 / 用在工作里
    • GPU 小时只是投入,应按「合格完成任务的全成本」衡量
    • 同一 B200、同一模型,不同推理栈与运维可差约 50% 产出
    • 有用的算力还要满足质量、延迟、可用性和安全
    • 基础设施与算力
  154. 16:29
    The Investor's Edge Lives in Their Head — Anekha Sokhal, Moshi

    投资者的优势在脑子里:持久的 edge 来自积累的人类上下文,而不是人人都有的模型、提示和连接器。

    可以学到 / 用在工作里
    • 投资者的优势是多年积累的隐性上下文,人人可得的模型和连接器复制不了
    • 让 AI 承担盯盘与资料整理,把下单判断留给人
    • 生产级金融系统要解决安全、数据时效、成本与问责
    • 行业应用
  155. 18:14深读
    Is the Agent Harness Dead? — Jediah Katz, SpaceXAI

    Agent harness 死了吗?编码专用脚手架被模型吸收(数据飞轮),harness 转向新前沿(Grok Bot 协调者 + worker 舰队、软件工厂),运行时、权限和成本永远是 harness 的事。

    可以学到 / 用在工作里
    • 把 harness 拆成「运行时」和「上下文/编排」两层分别设计;前者按传统工程标准做持久化和恢复,后者保持轻量、可删。
    • 为临时行为补丁(shims)建立生命周期:集中登记、记录触发次数,每次换模型时评估能否删除。
    • 用通用原语代替一次性集成:比如一个 subscribe(event) 工具统一接 Slack、CI、定时器等触发源。
    • Harness 与架构
    • 编码 agent
    • 基础设施与算力
  156. 17:32
    How to Know When an AI Agent Can Work Unsupervised — Evan Kormos, Coinbase

    Coinbase:何时能让 agent 无人监督地工作——把书面政策当作组织的「系统提示」,区分稳定的政策/构建状态与不断变化的运行状态,只把边界清楚的流程片段交给 agent。

    可以学到 / 用在工作里
    • 受监管流程:外层用确定性 DAG 表示政策,节点内部才允许自适应 agent 循环
    • 循环的可信度取决于验收检查
    • 只自动化易于对照政策检查、有边界、可追溯的节点
    • 安全与隔离
    • 团队与组织
    • 行业应用
  157. 18:51
    Buy, Build, Deploy: Using M&A to Drive AI Transformation — Prathik Naidu, Long Lake

    Long Lake 的策略:收购成熟的服务型企业再在内部部署 AI,比外部供应商更能拿到隐性知识、实时运营数据和客户信任。

    可以学到 / 用在工作里
    • 企业部署需要集成、采用和价值捕获,记录本身不包含日常判断与例外
    • 收购成熟的服务企业再内部部署 AI,可获得隐性知识与客户信任
    • AI 带来的是经营杠杆
    • 创业
    • 团队与组织
  158. 51:37
    The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft

    模型切换工作坊:在 Microsoft Foundry 上用同样场景比较 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash、Mistral Large 3,看应用能否换模型,而不是看通用基准。

    可以学到 / 用在工作里
    • 换模型要测你的实际场景(计数、RAG 缺失来源、图像、工具调用),通用基准不够
    • 评估工具名称、参数、完成度与效率
    • 用提示优化让困难任务在新模型上也能工作
    • 模型与训练
    • 评测
  159. 26:41
    Backtest Your Agent Against Yesterday's Web — Ryan Ahern, Exa

    用「昨天的网络」回测你的 agent:Exa Snapshot 重建过去某时刻可得的信息,兼顾结果质量、token 成本和延迟。

    可以学到 / 用在工作里
    • 版本化搜索可以检索某日期之前可见的网页
    • 组合信号(高管变动 + 出售传闻)比单一信号更好
    • 回测要防止读到要预测的结果公告,并保留留出集
    • 检索与知识
    • 评测
  160. 19:12
    Version-Controlled Search: The Web as It Was — Ryan Ahern, Exa

    Exa 的版本化搜索:检索某个日期之前可见的网页,用于回测金融预测,避免偷看未来。

    可以学到 / 用在工作里
    • 回测金融预测要用「截至某日」的网页快照,避免偷看未来
    • 日期过滤之外,模型自身知识和其他输入也会泄露答案
    • 高分特征可能在记住答案,要留出验证集
    • 检索与知识
    • 行业应用
  161. 49:35
    Stop Telling Agents How

    OpenProse:用 Markdown「契约」声明期望结果而不是规定每一步,由编码 harness 用子 agent、skills、工具解释执行;契约可组合,成功轨迹可沉淀为「金标」。

    可以学到 / 用在工作里
    • 用 Markdown「契约」声明期望结果而非规定每一步,由 harness 解释执行
    • 契约 + 触发器(webhook、定时)组成任务
    • 成功的会话可沉淀为更具体的可复用工作流,但完成声明仍需验证
    • Harness 与架构
    • 上下文 / Skills / MCP
    • 软件工厂 / 多 agent
  162. 1:01:04深读
    Teach Your Agent to Prove It's Done — Nick Nisi & Zack Proser, WorkOS

    WorkOS 工作坊:教 agent 证明自己完成了——明确结果、能观察应用的工具、可重复的检查;演示里邮件显示成功但刷新就消失,因为根本没持久化。

    可以学到 / 用在工作里
    • 为你的应用写一个给 agent 用的验证 CLI:环境自检、关键操作、读取真实状态(数据库/存储/日志),让 agent 能自己证明完成。
    • 完成标准写成可检查的结果(例如「刷新后条目仍在」),而不是「功能已实现」。
    • 定期用注入 bug 的方式检验你的验证体系本身是否靠谱。
    • 评测
    • 编码 agent
    • 质量与评审
  163. 53:32
    Evals for High-Stakes AI Agents — Doneyli De Jesus & Annabell Schäfer, Langfuse

    Langfuse 工作坊:高风险 agent 评测闭环——追踪、监控、代表性数据集、实验与评测,生产发现回流为测试用例;受监管场景用专家标注、影子运行。

    可以学到 / 用在工作里
    • 追踪工具调用与中间步骤:agent 可能报告从未执行的成功操作
    • 用领域专家的评论定义具体失败模式,再为每个选确定性或模型评估
    • 观测系统里不存卡号等敏感数据
    • 评测
    • 安全与隔离
  164. 44:30
    Insurance Claims Are AI's Messiest Data Problem — Denys Linkov, Wisedocs

    保险理赔是 AI 最乱的数据问题:纸质和传真、表单不一、诉讼和多次医疗交接;按清洗、分析、生成组织技术工作(工作坊)。

    可以学到 / 用在工作里
    • 理赔数据先清洗:重复、混杂、缺失记录会改变结果
    • 分别衡量准确性、完整性和简洁性
    • 跨案件分析依赖单案抽取的可靠性,人仍需核验
    • 行业应用
    • 检索与知识
  165. 20:37
    Why AI Agents Still Won't Pay for Anything — Jan Curn, Apify

    Apify:为什么 agent 还几乎不付钱——用户需要、设置支付、发现可信服务、完成购买的漏斗每一步都有摩擦,已有账户和 API key 是更方便的替代。

    可以学到 / 用在工作里
    • agent 支付漏斗每一步都有摩擦:已有账户和 API key 是更方便的替代
    • 自主支付的价值在任务中发现并购买新服务
    • 陌生卖家是否可信需要目录与信任信号
    • 行业应用
    • 产品与交互
  166. 1:56:13
    How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI

    Laurie Voss 工作坊:用 Arize Phoenix 和 Claude 评测金融分析 agent——先读 trace 再定义代码、LLM 评委和人工评测;一份特斯拉报告把不同来源数字混成「116% 分析师共识」。

    可以学到 / 用在工作里
    • 先读 trace 再选评测:报告格式完美但可能把不同来源数字混成「116%」
    • 评委要拿到回答问题所需的证据
    • 评委标签与人工标签对比,分歧处再收紧 rubric
    • 评测
  167. 51:48
    Memory-Aware Agent Harnesses for Anti-Money Laundering — Nacho Martinez, Oracle

    Oracle 工作坊:为反洗钱 agent 设计带记忆的 harness——记忆、工具、感知和循环都是可配置脚手架,按负载选文件还是数据库。

    可以学到 / 用在工作里
    • harness 的数据、记忆、工具和循环都是可配置脚手架
    • 大量工具和 skill 按需检索加载,不全塞进上下文
    • 记忆先从简单开始:存到对话之外,需要时再加相似度召回
    • Harness 与架构
    • 检索与知识
    • 行业应用
  168. 55:24
    The AI Bill Is Too Damn High: Tokenomics 101 — Eugene Cheah, Featherless AI

    Tokenomics 101:降推理成本的四步——度量支出(按部门和用例分 API key)、合适规模的模型、按需求购买容量、审视流程;编码 agent 用强模型规划、便宜模型执行。

    可以学到 / 用在工作里
    • 按团队和用例分 API key,先度量谁在花钱
    • 在实际任务上评估小模型和分类器,强模型只用于规划与评审
    • 无人等待的批处理用吞吐换延迟,按基础负载买专用容量
    • 基础设施与算力
    • 模型与训练
  169. 43:25
    An AI Agent Got Its User Banned From Resy — Keycard, JPMorgan Chase & AAuth

    一个 agent 让用户被 Resy 封号:Keycard、摩根大通、AAuth 讨论用意图与运行时授权约束 agent,宽泛的 OAuth 范围对动态任务太粗。

    可以学到 / 用在工作里
    • 宽泛的 OAuth 范围对动态任务太粗:用任务(mission)与交易历史区分合法支付与重复支付
    • 用时间与资源预算约束重复动作
    • 在 agent 之外强制执行并保留防篡改日志
    • 安全与隔离
  170. 1:41:43
    Why One AI Agent Isn’t Enough (And How to Run 1,000) - CJ Avilla & Harrison Stall, Anthropic

    Anthropic 工作坊:Claude Managed Agents 的 Flows——主 agent 规划并分阶段协调子 agent,扫描与复核分上下文、按阶段分配算力、评测与控制成本(股票观察列表、Bug Hunter 示例)。

    可以学到 / 用在工作里
    • Managed Agents Flows:主 agent 分阶段规划、把独立工作分给隔离上下文的子 agent
    • 扫描与复核分开(怀疑与证明分离)
    • 用预算、事件流和中断检查长时间运行,并发不保证覆盖和质量
    • Harness 与架构
    • 软件工厂 / 多 agent
  171. 18:57
    AI Agents Cut 3-Day Portfolio Builds to Minutes — Jack McDonald, Apollo & Michael Manapat, Rowspace

    Apollo 与 Rowspace:agent 整合结构化信贷里碎片化的数据,200–400 笔信贷的模拟 CLO 组合从两三天降到几分钟,经理在此基础上做判断。

    可以学到 / 用在工作里
    • 碎片化信贷数据整合后,模拟组合从两三天降到几分钟,由经理在此基础上判断
    • 自动对账报告每天由团队核对
    • 和懂工作流的人一起建
    • 行业应用
  172. 7:20
    The Highest Loop — swyx

    swyx 开场「最高的循环」:AI 工程是一层层循环(token → 对话 → 工具 → 目标 → 自动化 → 软件工厂);往上一层提高产能,往下一层排查可靠性。

    可以学到 / 用在工作里
    • AI 工程是一层层循环(token→对话→工具→目标→自动化→工厂)
    • 往上一层追求产能,往下一层排查可靠性
    • 最高的循环是决定下一步造什么的集体工作
    • 范式与判断
    • 大会与活动
  173. 11:12
    How to Actually Tokenmaxx and Save Millions — Alvin Pane, OutRival

    如何真正省下数百万 token 费用:先追踪调用、工具和重试,再测便宜模型——候选模型与生产有 18% 分歧,而生产自身重复运行也有分歧。

    可以学到 / 用在工作里
    • 先测生产模型与自身的分歧(约 7%),再解读候选模型的分歧(18%)
    • 缓存重复前缀,再搜索更短的指令
    • 影子评测要区分行为漂移与正常波动
    • 基础设施与算力
    • 评测
  174. 19:18
    Rebuilding CI for AI-Scale Commit Volume — Gautam Korlam, Sonar

    为 AI 规模的提交量重建 CI:单独通过的改动合起来仍可能打坏主干,借鉴 Uber SubmitQueue 的推测式并行验证保持主干常绿。

    可以学到 / 用在工作里
    • 单独通过的改动合起来仍可能打坏主干:测试组合
    • CI 延迟会在每次修复尝试中累加,复用不变的工作
    • 基于风险的审批:常规改动自动化、敏感改动升级、agent 不能批准自己
    • 基础设施与算力
    • 质量与评审
  175. 29:26
    Paving the Road to Production: Governed Enterprise AI Agents — Harish Gaggar, Credit Karma

    Credit Karma 的受治理 agent 上线之路:内部开发者门户生成自带记忆、追踪、评测、敏感输入过滤的仓库,配好工作负载身份与密钥管理,再走评审上线。

    可以学到 / 用在工作里
    • 「铺好的路」要一次创建工作负载身份、记忆存储、追踪表和密钥
    • 集中的 MCP 网关负责认证与路由,工具需审核
    • 被拒绝的敏感操作也要留审计记录
    • 基础设施与算力
    • 安全与隔离
    • 团队与组织
  176. 31:30
    Your AI Isn’t the Problem. Your Infrastructure Is. — Jiachen Jiang, Coder

    Coder:agent 安全要靠强制的基础设施边界,而不是聊天指令或更聪明的模型;用致命三要素(私密数据、不可信内容、对外通信)讲三个故事,包括 Replit 删库。

    可以学到 / 用在工作里
    • 在聊天里说「代码冻结」并不会移除删除权限:用生产隔离和限定访问来强制
    • 代理检查流量、沙箱限制文件与网络,两者解决不同问题
    • 一次性远程工作区把爆炸半径限制在一个容器
    • 安全与隔离
    • 基础设施与算力
  177. 36:11
    I Spent Two Years Building the Median — Hariprasad Sudharshan

    两年独自用 AI 做产品后发现别人做出几乎一样的计算器:通用模型和工具产出的是「中位数」软件,可用但难差异化。

    可以学到 / 用在工作里
    • 通用模型和工具产出的是「中位数」软件:可用但易被复制
    • 动手前先搜索已有方案,明确你的独特贡献并放进路线图
    • 区分模型能力、harness 和最终产品
    • 创业
    • 产品与交互
  178. 25:01
    Your Fridge Is a Valid Payment Device — Eleonora Drykina & Nina Žižakić, In The Pocket

    支付规则手册 RAG:270 份 PDF、6000 页、3000 张表,文档间大量互引,回答必须引用手册、章节和页码,并排除模型自带的不相关知识。

    可以学到 / 用在工作里
    • 长文档 RAG:不重叠切块 + 章节路径 + 块索引,让 agent 能重建上下文
    • 合并表头在 CSV 中逐行重复,避免费用归错类
    • 稠密 + BM25 混合检索把命中率从 92% 提到 97%
    • 检索与知识
    • 行业应用
  179. 10:02
    The Cost of Accessibility in AI — Jemima Abu, CAIS

    无障碍的成本:同样的 Figma 实现提示,带无障碍 skill 的那次成本低 58%、耗时约三分之一(单次实验,需谨慎解读)。

    可以学到 / 用在工作里
    • agent 会照搬仓库里不无障碍的写法:先审计并修复现有模式
    • 原生 HTML 能省去自定义实现与测试工作
    • 单次实验显示带无障碍 skill 成本低约 58%,不要过度推广
    • 产品与交互
    • 上下文 / Skills / MCP
  180. 12:25
    I Believe Everything My Agents Tell Me: Three Levels of Review — Corey Gallon, Rexmore

    三层 agent 评审:针对夸大完成、事实错误和错误推理;他自己约四成会话有重要错误,第一层要求可验证的产物和指纹。

    可以学到 / 用在工作里
    • 三层评审对应三类错误:夸大完成→要求可验证产物和指纹;事实错误→独立抽取并与源对账;推理错误→冷启动对抗式复核
    • 事先定义交付物和检查方式
    • 评审有成本,按风险投入
    • 评测
    • 质量与评审
  181. 10:28
    Every Building Is a Balance Sheet: Spatial Memory for Real-World Assets — Jordi Spranger, Spranic

    Spranic 与 Neo4j 的空间记忆:用现成传感器扫描空间、识别物体并存入图,多次巡检对齐后可查询空间及其变化。

    可以学到 / 用在工作里
    • 多次传感器巡检形成空间的历史记录:识别的物体进入语义图并按时间对齐
    • 可用自然语言查询空间及其变化,并引用支撑的采集证据
    • 可服务维护、机器人与保险续保
    • 机器人
    • 检索与知识
  182. 15:07
    Deploying AI Inside a Bank Is Not an Engineering Problem — Paden Gayle, Applied AI Engineers

    在银行部署 AI 不是工程问题:第一周就找到数据权限、生产基础设施、模型与第三方风险评审、审计的负责人。

    可以学到 / 用在工作里
    • 银行 AI 项目第一周就找数据使用许可、生产负责人和评审要求,它们会改变架构
    • 跟岗观察真实流程写规格,再让负责人收窄范围
    • 从最低有用权限开始(带来源的草稿由人提交)
    • 团队与组织
    • 行业应用
  183. 17:31
    Tokens Are the Cheap Part — Steve Jamison, Jellyfish

    Jellyfish:token 是便宜的部分。一年里 AI 成本涨 60 倍、人均合并 PR 多 43%,每个合并 PR 的综合成本下降 26%。

    可以学到 / 用在工作里
    • AI 账单涨 60 倍时,人均合并 PR 多 43%,每 PR 综合成本反而降 26%
    • 把薪资与 AI 支出放在同一计算里
    • 关注返工和产出膨胀,不只看吞吐
    • 团队与组织
    • 基础设施与算力
  184. 6:28
    What Technical Due Diligence Finds When the Deck Says “70% Automated” — Soukaïna Abelhad

    尽调发现 PPT 写着「70% 自动化」时要做的三件事:对比工作量增长与全口径人力、区分 AI 辅助与端到端自主、看返工。

    可以学到 / 用在工作里
    • 尽调「70% 自动化」:对比工作量增长与全部人力投入
    • 要求在明确的端到端流程边界内报告直通完成率
    • 验证自动评委与专家验收的一致性
    • 创业
    • 团队与组织
  185. 20:27
    Judge a Transaction by the Company It Keeps — Somya Rai & MD Sharique, EXL

    EXL 在 XGBoost 反欺诈模型上加 GraphSAGE 图嵌入,同等告警量下线下交易真阳性率从 36% 升到 48%、线上从 48% 升到 61%。

    可以学到 / 用在工作里
    • 在现有 XGBoost 上加 GraphSAGE 图嵌入,同等告警量下欺诈检出提升约 27–33%
    • 采样要保留用户历史与困难负例
    • 按月分图、只用更早时间聚合以防信息泄漏,图计算不放在请求路径上
    • 模型与训练
    • 行业应用
  186. 15:04
    The Agent Works. Does Anyone Trust It? — Michele Grant, Leading at Scale

    企业 agent 的信任框架:先证明可衡量的价值,指定负责人,在扩大自主权前要求证据。

    可以学到 / 用在工作里
    • 上线不等于被信任:分别度量报告提速、实际释放的产能和提前发现问题
    • 每个重要决策都有人类负责人、所需证据和升级路径
    • 财务计算放在审批过的确定性代码里并保留版本
    • 团队与组织
  187. 14:22深读
    Sandboxes Aren't Optional: 4 Ways to Isolate Coding Agents — Robert Brennan, OpenHands

    OpenHands CEO:沙箱不是可选项。四种隔离编码 agent 的方式,跳过权限检查的本地 agent 能碰到开发者的文件、密钥和生产凭据。

    可以学到 / 用在工作里
    • 最小权限从任务需要的仓库、密钥和工具开始列清单;只给这一次任务所需的 token。
    • 长时间自主任务用「每会话一次性环境」,持久状态放在 git/对象存储而不是机器上。
    • 基础设施与算力
    • 安全与隔离
    • 编码 agent
  188. 21:03
    Just-in-Time Ontologies: What Cheap Intelligence Means for Data — Hrishi Olickel, Southbridge AI

    即时本体:智能变便宜后,可以在决策明确时才构建数据转换,而不是把一切塞进统一 schema;保留结构和证据以便复用。

    可以学到 / 用在工作里
    • 智能变便宜后可以围绕具体决策「即时」构建数据转换,而不是先建统一 schema
    • 把设计者、执行者、优化者分开,各用合适的模型
    • 定义比模型更能改变结果,多模型一致也可能一起错
    • 检索与知识
    • 范式与判断
  189. 17:39
    Decoupling the Brain from the Hands: Claude Managed Agents (Part 1 of 4) — Anthropic

    Claude Managed Agents 工作坊第 1 部分「把大脑和手分开」:agent = 模型在循环里调工具 + harness + 隔离执行环境;harness 编码了针对特定模型的假设(上下文重置对 Sonnet 4.5 有用、对 Opus 4.5 多余)。

    可以学到 / 用在工作里
    • harness 的变通做法依赖模型行为,模型变了就过时:把会话历史、harness、沙箱分开
    • 会话日志保证连续性,harness 和沙箱可替换
    • 在出站代理注入令牌,凭据不进沙箱
    • Harness 与架构
    • 基础设施与算力
  190. 35:35
    Build a Research Agent with Claude Managed Agents (Part 2 of 4) — Anthropic

    Claude Managed Agents 工作坊第 2 部分:用 Claude Code 搭研究台,SSE 流转发、SEC EDGAR skill、专业子 agent、自定义分派工具和共享记忆。

    可以学到 / 用在工作里
    • 托管 agent 搭研究台:后端转发 SSE 事件流给前端
    • 专业子 agent 返回发现,主 agent 产出交付物
    • 用任务 rubric 定义完成并允许重试
    • Harness 与架构
    • 基础设施与算力
  191. 58:42
    Building AIE: Open Q&A and Feedback Session with swyx

    swyx 主持的 AIE 开放问答:大会方向、偏好实战工程内容(评测、护栏、沙箱)、World's Fair 与专题峰会的区别。

    可以学到 / 用在工作里
    • 大会组织的实际经验:工作坊要尽早告知能否入场,开放日程数据便于自建界面
    • 通过本地合作伙伴扩张而不让组织者成为瓶颈
    • 大会与活动
  192. 26:30
    Scheduled Agents, Dreaming and Q&A: Claude Managed Agents (Part 3 of 4) — Anthropic

    Claude Managed Agents 工作坊第 3 部分:金融研究扇出、定时部署(agent 定义 + 日程 + 初始消息 + 记忆/仓库/文件资源)与 Dreaming 记忆整理。

    可以学到 / 用在工作里
    • 一个请求可扇出成多个会话,各自有多 agent 协作与结果定义
    • 定时部署 = agent 定义 + 日程 + 初始消息 + 资源
    • 记忆整理(Dreaming)的结论仍需任务级评测验证
    • Harness 与架构
    • 检索与知识
  193. 13:21
    Please… Enough with the Sloppy, One-Shot SaaS Replacements — Mahmoud Abdelwahab, Railway

    Railway:别再做一次性的粗糙 SaaS 替代品。区分「能用」和「每天愿意用」,用结构化代码库、可复用抽象和现有页面作参考,让 agent 延续已有界面。

    可以学到 / 用在工作里
    • 「能用」和「每天愿意用」之间还有很多活:自动保存、撤销窗口、乐观更新与回滚
    • 给 agent 结构化代码库和参考页面,让它复用好模式
    • 把常用偏好打包成 skill,并端到端验证
    • 产品与交互
    • 质量与评审
  194. 22:46
    How Inference Keeps Up with Our Insatiable Need for Tokens — Cerebras & Gimlet Labs

    Cerebras 与 Gimlet Labs:推理如何跟上 token 需求——访存受限的解码、跨 GPU 切分的通信成本、速度与吞吐权衡,连续批处理、分页 KV cache、前缀复用等。

    可以学到 / 用在工作里
    • 推理优化要点:批处理共享权重读取、连续批处理、分页 KV、前缀缓存、分块 prefill
    • 按工作负载形态拆分 prefill/decode 等阶段到不同硬件
    • 速度与吞吐需要权衡
    • 基础设施与算力
  195. 18:57
    Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4) — Anthropic

    Claude Managed Agents 工作坊第 4 部分:部署、评测、多租户隔离;资源定义放 YAML 并用 ant CLI 经 CI/CD 同步。

    可以学到 / 用在工作里
    • agent 定义放 YAML、用 CLI 经 CI/CD 同步到各环境
    • 有意义的评测数据比完美分数重要,历史会话是好起点
    • 客户数据隔离用独立工作区,而不是会话元数据
    • 基础设施与算力
    • 评测
  196. 25:08
    Your Agent Is a Lethal Trifecta (And What to Do About It) — Kim Maida, Keycard

    Keycard:你的 agent 就是一个致命三要素。用常驻 API key 和管理员数据库凭据的 on-call agent 泄露客户 PII、删账单库、重启生产、把服务从 4 个 pod 扩到 40 个;改用按任务授权的凭据。

    可以学到 / 用在工作里
    • 权限过大的 on-call agent 会泄露 PII、删库、重启生产、滥扩容
    • 用委托 token exchange:每次工具请求带上用户身份,按任务签发短期凭据
    • 在每一跳重新交换并用策略约束任务
    • 安全与隔离
  197. 17:02
    The Next Trillion Internet Users Still Don’t Have an Identity — Adi Singh, AgentMail

    AgentMail:下一批万亿互联网用户(agent)还没有身份;身份来自在现有人类网络上积累的认可、关系和活动。

    可以学到 / 用在工作里
    • agent 的身份来自在现有网络上反复参与积累的认可与历史,而非一次签发的凭据
    • 一个可读的收件箱能解决服务验证,并持续用于账单与恢复
    • 已有渠道也带来钓鱼和注入风险
    • 产品与交互
    • 范式与判断
  198. 22:00
    Containment Is Lying to You: Measuring AI Agents Like Employees — Druid AI

    Druid AI:「拦截率」会奖励错误的 agent——拦下 80% 银行对话但把再融资机会转给银行家的,比拦下 96% 的更有价值;提出 AI Agent 参考模型。

    可以学到 / 用在工作里
    • 「拦截率」会奖励错误的 agent:适时转交人工可能更有商业价值
    • 执行前定义范围、业务目标、可用证据、权限与预算
    • 评分卡中治理和授权范围权重最高
    • 评测
    • 行业应用
  199. 20:50
    Inside the AI Economy: What Stripe's Data Reveals — Nilofer Rajpurkar, Stripe

    Stripe 数据看 AI 经济:快速增长的 AI 公司开发更快、一开始就全球销售、定价模式在变,观测到的 AI 收入增速从 120% 升到 175%。

    可以学到 / 用在工作里
    • AI 公司一开始就全球销售:本地货币定价和本地支付方式显著提高转化
    • 订阅 + 用量的混合定价,并提供实时用量可见性
    • 准备好让 agent 成为买家
    • 创业
  200. 21:13
    Auth for Agents: Let AI Sign Up for Your Product with auth.md — Michael Grinich, WorkOS

    WorkOS 创始人:agent 正在成为供应商的挑选者,让 agent 能注册你的产品(auth.md)成了产品需求;表单、验证码、邮件验证、手动拷 API key 都会打断 agent。

    可以学到 / 用在工作里
    • agent 正在替用户挑选供应商:注册流程本身成为障碍
    • 用 auth.md 声明注册方式、身份证明、权限上限与人类托管
    • 允许先使用后认领,并在 API 层强制授权
    • 产品与交互
    • 安全与隔离
  201. 47:37
    Hiring Employable Agents + Startup Battlefield Finals — Howie Liu, HyperAgent

    HyperAgent:从补全、聊天、工具 agent 到心跳唤醒的常驻 agent 和编排 agent 的 agent;园艺报价例子里分诊、勘测、沙箱 VM 分析图像,报价前必须人批准。

    可以学到 / 用在工作里
    • 工具结果让 agent 在一次运行内持续工作,心跳让它停下后再次运行
    • 面向客户的承诺(报价)前必须由负责人批准
    • 监督需要记住纠正并能看到当前工作、阻塞与交接
    • 产品与交互
    • Harness 与架构
  202. 15:19
    1,000 Agent Tasks in a Sandbox: What Breaks When LLMs Run Code — Kevin Orellana, AWS

    AWS:让编码 agent 通宵用 1000 个任务压测云沙箱平台(经 MCP 暴露),结果存 SQLite 支持并发子 agent,发现 LLM 跑代码时会坏在哪里。

    可以学到 / 用在工作里
    • 让编码 agent 通宵用上千个任务压测自家沙箱平台,结果写 SQLite 供并发子 agent 使用
    • 区分接口故障(MCP 编码错误)与沙箱故障
    • 按真实托管工作流设计测试(浏览器标签会耗尽内存)
    • 基础设施与算力
    • 评测
  203. 15:21
    Reliable, Smart Workflows for Finance, Wealth and Insurance — Karthic Rao, Perpetual

    Perpetual:受监管财富管理里的可靠工作流——控制流、证据和外部动作交给确定性软件,模型只负责理解和起草(以 W-9 表为例)。

    可以学到 / 用在工作里
    • 受监管工作流:控制流、证据和外部动作交给确定性软件,模型只做理解和起草
    • 把请求编译成公司允许的动作,否则澄清或拒绝
    • 既批准计划也批准每个外部动作的确切内容
    • 行业应用
    • Harness 与架构
  204. 8:53
    We Let Our Financial Planners Write the Agents — Matthew Ragone, Range

    Range 让理财规划师自己写 agent skills:agent 起草现金流或保险分析,规划师审改后才发给客户,agent 从不直接对客。

    可以学到 / 用在工作里
    • 让懂业务的人写 skill:从可快速判断质量的重复工作开始,用真实案例教
    • skill 要包含必须问的问题和自主行动的边界
    • 分发前在 5–10 个真实案例上测试,并指定负责人
    • 团队与组织
    • 上下文 / Skills / MCP
  205. 13:20
    Your GPU Neighbor Can Hear Your Model — Branislav Brzak, Stealthium

    GPU 邻居能「听到」你的模型:H100 MIG 分区下的时序侧信道能泄露相邻 LLM 推理的信息(不恢复具体内容)。

    可以学到 / 用在工作里
    • GPU MIG 分区仍共享时钟:时序侧信道可推断相邻租户的模型与负载(不恢复内容)
    • 推测解码让文本类别影响时序
    • 多租户推理要考虑这类泄露并监控
    • 安全与隔离
    • 基础设施与算力
  206. 52:58
    RAG Needs a Map: Using GraphRAG to Retrieve Connected Context — Nyah Macklin, Neo4j

    Neo4j GraphRAG 入门工作坊:向量检索 + 知识图谱关系,支持多跳问题、聚合和可检查的上下文。

    可以学到 / 用在工作里
    • 多跳和聚合类问题考虑 GraphRAG:向量找片段,图查询取关联信息
    • 用节点类型、关系类型和允许模式约束 LLM 抽取
    • 检索证据要可检查,错误计数也能被追查
    • 检索与知识
  207. 57:48
    The SDLC You Build Yourself — Andy Wong, Andrei Bocan & Shane Wolf, Atlassian

    Atlassian 工作坊:围绕 agent、组织上下文和人工评审塑造 SDLC——Jira Coding Agent、AI Reviewer、AutoDev、AI Planner、AI SRE,以及设计 token 规范强制。

    可以学到 / 用在工作里
    • 上下文引擎把组织信息与代码搜索连接,跨仓库检索实现与决策
    • 验证需要验收标准和可运行环境
    • 用仓库级规范(如设计 token)引导 AI 评审,并减少低价值评论
    • 软件工厂 / 多 agent
    • 团队与组织
  208. 19:17
    Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI — Fireworks AI

    Fireworks AI:别再租用智能,建立「训练到部署」循环,用产品数据和反馈持续定制开源模型;客户案例含 Cursor Composer 2 推理快 13 倍。

    可以学到 / 用在工作里
    • 质量调优(数据与评测、RFT)与推理优化是两个问题
    • 按需要的控制程度选择训练接口
    • 建立「训练→部署」循环,用产品数据持续定制开源模型
    • 模型与训练
    • 基础设施与算力
  209. 29:28
    Parsing the Epstein Files for JMail — Palak Agarwal & Omar Alhait, Reducto

    Reducto 为 JMail 解析了 300 多万页文档(扫描件、表格、手写),演示手写飞行记录的抽取 schema 与部署。

    可以学到 / 用在工作里
    • 复杂扫描件、手写记录要为每类文档设计统一的抽取 schema
    • 看得见的涂黑可能底层数据仍在,要保证脱敏真正生效
    • 先检查小样本,再建代表性评测
    • 检索与知识
  210. 19:38
    An AI Future Without the Lock-In — Remy Guercio, Tailscale

    Tailscale:从 token 最大化转向 ROI 最大化,长时间不清理的会话浪费钱,别为省钱把自己锁定在一两家垂直整合的供应商上。

    可以学到 / 用在工作里
    • 把模型、数据连接器、界面和执行环境四层分开,避免被垂直整合的供应商锁定
    • 在网关上用身份决定访问,凭据留在网关
    • 便宜模型与前沿模型分别设预算,长会话要清理
    • 基础设施与算力
    • 团队与组织
  211. 36:04
    Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI

    Arize:用 skills 让编码 agent 读 trace、评测、人工标注和日志来改进应用;金融 agent 演示中约 44% 交互缺少用户上下文和校验。

    可以学到 / 用在工作里
    • 给编码 agent 读 trace、评测和代码的 skill,让它定位具体失败
    • 在原本失败的案例上测试修复(约 44% 交互缺少用户上下文)
    • 分清糟糕的总结与静默的工具失败
    • 评测
    • 上下文 / Skills / MCP
  212. 51:52
    Hill-Climbing Skills: Improve Agents Without Changing the Model — Shubhankar Srivastava, Browserbase

    Browserbase 的 AutoBrowse:不改权重,靠「执行者 + 老师」循环迭代 strategy.md,最终沉淀成包含站点导航、URL 捷径、等待技巧的 SKILL.md。

    可以学到 / 用在工作里
    • 不改模型权重也能提升 agent:执行者产生浏览证据,老师把它写进 strategy.md
    • 好的 skill 记录具体站点知识:预填 URL、等待方式、要避开的路径
    • 成本、延迟与正确性可能反向变化,要持续验证
    • 上下文 / Skills / MCP
    • 评测
  213. 15:21
    How Secrets Leak Through AI Agents (and How to Stop It) — Venice AI

    Venice AI:秘密如何通过 agent 泄露——日志、外部提供商、存储;做法是不存提示、匿名化转发、可信执行环境、分片密钥加密。

    可以学到 / 用在工作里
    • 私有模型只覆盖部分数据路径:应用日志也会复制秘密
    • 让凭据库连到执行端,模型只请求动作不拿秘密
    • 收窄工具范围,必要时用可信执行环境
    • 安全与隔离
  214. 47:25
    Turning My Obsidian Vault Into a Local AI Engineer — Filip Makraduli, Superlinked

    把 Obsidian 库变成本地 AI 工程师:OCR、实体抽取和脱敏交给 MCP 服务器,Claude Code 上下文更小、更省钱,敏感材料留在本地。

    可以学到 / 用在工作里
    • 把 OCR、实体抽取和脱敏放到 MCP 服务器背后,主 agent 只消费处理后的 Markdown
    • 敏感材料留在本地,上下文更小更省钱
    • 按任务需求与 GPU 状态路由模型
    • 检索与知识
    • 上下文 / Skills / MCP
  215. 17:00
    Latency Is a Budget. Humanlike Is the Goal. — Jesse Hall, LiveKit

    LiveKit:语音 agent 要在延迟预算内追求像人一样的对话;组件排行榜无法告诉你哪套 STT/LLM/TTS 适合真实来电。

    可以学到 / 用在工作里
    • 评测完整的语音栈:转写错一个日期会让后续动作全错
    • 衡量到可听语音为止的等待
    • 慢工具与对话进度分离,音频轮次检测与临时转写让流水线重叠
    • 多模态与语音
  216. 44:22
    Continuously Improving Agents with Langfuse — Annabell Schäfer & Lotte Verheyden, ClickHouse

    Langfuse 持续改进 agent 工作坊:区分在线追踪监控与离线数据集实验评测,trace 要记录嵌套步骤、模型调用、工具、耗时、token 和提示版本。

    可以学到 / 用在工作里
    • trace 要记录嵌套的模型与工具调用、耗时、token 和提示版本
    • 按评估目的选择输入:分歧判断需要对话上下文,范围检查需要系统提示
    • 用分数找出值得复查的对话,再读 trace 找原因
    • 评测
  217. 1:57:33
    AI Security Engineer Foundations + Certificate — Javier Garza, Snyk

    Snyk AI 安全工程师基础(2 小时工作坊):OWASP LLM 风险、影子 AI、威胁建模、skills 与 MCP 安全、安全的 vibe coding、红队。

    可以学到 / 用在工作里
    • 间接提示注入来自 agent 为正当任务检索的内容:同时限制内容对指令的影响和可执行的下游动作
    • 只读视图只暴露允许的字段
    • 建 AI 物料清单(模型、数据集、agent、集成)并做威胁建模
    • 安全与隔离
  218. 13:04
    Same Model, Different Speed: Why Your Inference Provider Matters — FriendliAI

    FriendliAI:同一模型在不同推理提供商速度不同;GLM 5.2 与 Opus 4.8 做出相近的塔防游戏,GLM 便宜 5.6 倍以上。

    可以学到 / 用在工作里
    • 同一模型在不同推理提供商的完成时间不同
    • 前缀缓存要配合路由到持有前缀的副本,并分层管理 GPU/CPU/NVMe
    • 用你真实的提示和流量测试提供商
    • 基础设施与算力
    • 模型与训练
  219. 38:55
    Building Self-Learning Loops for Your Agent — Fuad Ali, Arize AI

    Arize:检测-调查-修复-验证的自学习循环,把执行 trace 与仓库代码结合定位问题(价格过滤 bug 示例)。

    可以学到 / 用在工作里
    • 把 trace(违反了哪个用户约束)与仓库代码(本应强制的路径)结合定位问题
    • 会用工具的评委能检查轨迹并补查缺失事实(如用户权限)
    • 用失败衍生的请求回放验证修复
    • 评测
    • Harness 与架构
  220. 38:18
    Beyond RAG: Build a Relational Context Engine from Scratch — Peter Werry, Unblocked

    Unblocked 工作坊:从零构建关系型上下文引擎,把自然语言转成校验过的 PR 数据库查询;「上周谁合并了哪些 PR」这类问题向量检索解决不了。

    可以学到 / 用在工作里
    • 语义相关性不处理作者、状态、时间条件:让模型写结构化查询
    • 查询规划需要 schema、身份解析和当前时间
    • 生成的查询是不可信代码,用允许的操作符校验,租户约束由应用注入
    • 检索与知识
  221. 53:42
    Burn Your Flags: Interactive CLIs for Agents — Mark Lummus & Navinkumar Patil, PayPal

    PayPal 工作坊:让交互式 CLI 对 agent 可用——人看到方向键选择,agent 只看到终端重绘;flag 适合独立输入,依赖前序答案的选择需要别的设计。

    可以学到 / 用在工作里
    • 交互式 CLI 对 agent 不可见:它只看到终端重绘
    • 用 tmux 保留可检查的会话,或提供结构化的状态与输入通道
    • 把下一个问题背后的约束一并说明
    • 上下文 / Skills / MCP
    • 产品与交互
  222. 1:12:59
    The Autonomous Computer: Infrastructure for Computer Use Agents — Ang Li, Simular

    Simular 的自主计算机:视觉语言 agent + 可复用自动化代码,Agent S 从无障碍树定位到视觉控制;区分 pass@k 与日常可靠的 pass^k。

    可以学到 / 用在工作里
    • 日常无人值守的自动化要看 pass^k(每次都成功),而不是 pass@k
    • 把成功的电脑操作沉淀为代码回放,环境变化时再用模型恢复
    • 截图与结构化界面信息覆盖不同失败
    • Harness 与架构
    • 多模态与语音
  223. 55:30
    Teaching Agents to Search with NVIDIA Data Designer — Dhruv Nathawani, NVIDIA

    NVIDIA NeMo Data Designer 工作坊:把目标 agent 行为变成可复用的合成数据流水线,从问答生成到接 MCP 搜索的完整搜索轨迹。

    可以学到 / 用在工作里
    • 把期望的 agent 行为变成合成数据流水线:先控制输入分布,再生成
    • 训练搜索能力要保留工具调用与检索内容(5 万种子筛成 7 千条,BrowseComp 0%→30%)
    • 验证器可能认同过时种子,需组合人工与模型判断
    • 模型与训练
    • 检索与知识
  224. 2:00:16
    AI Security Engineer Foundations + Certificate — Micah Silverman, Snyk

    Snyk AI 安全工程师基础(另一场):提示不能代替访问控制,要限制模型可用的数据、凭据、工具和环境,并校验输入输出。

    可以学到 / 用在工作里
    • 提示与记住的规则只影响行为,外部权限才决定能否接触敏感数据与破坏性操作
    • 评估 agent 的每条权限路径,包括已登录浏览器
    • AI 物料清单要覆盖模型、数据集、agent 和流水线并保持更新
    • 安全与隔离
  225. 57:45
    How to Build Quality Gates into Agentic Coding Workflows — Nnenna Ndukwe, Qodo AI

    Qodo 工作坊:在 agent 编码流程里建质量门——先识别仓库规则和 skills,写高层实现计划和构建执行计划,把行为、约束、测试和验证命令串起来。

    可以学到 / 用在工作里
    • 规划、实现、评审三个阶段使用同一套规则与 skills
    • 行为计划与执行计划分开写,执行计划记录起始分支、验证命令与完成说明
    • 确定性合并阻断只能拦住已识别的违规,不保证 AI 评审选中了所有规则
    • 质量与评审
    • 编码 agent
  226. 52:30
    From Zero to Leaderboard: Agent Evaluation — Wolfram Ravenwolf, Weights & Biases

    Weights & Biases 的 WolfBench:每个结果都是完整配置(基准、运行器、沙箱、harness、模型服务、参数)的测量,版本、路由、超时、重试都会改变实验。

    可以学到 / 用在工作里
    • 每个评测结果都是完整配置的测量:数据集与运行器版本、沙箱、agent、模型端点、路由、参数
    • 多次运行看平均、范围、一致性与上限
    • 比较总 token 与成本,便宜单价可能更贵
    • 评测
  227. 17:08
    Taming the AI Hardware Cambrian Explosion — Abdul Dakkak, Modular

    Modular 应对 AI 硬件「寒武纪大爆发」:Mojo 系统语言、MAX 推理框架(图编译、OpenAI 兼容端点)、Modular Cloud。

    可以学到 / 用在工作里
    • 硬件多样化后,用可移植内核抽象 + 底层访问兼顾性能
    • 模型定义留在 Python,同时支持多卡多机与异构执行
    • 性能对比要结合工作负载、硬件与成本自行验证
    • 基础设施与算力
    • 模型与训练
  228. 41:57
    SonarQube + OpenAI: Agentic Development — Killian Carlsen-Phelan, Sonar

    SonarQube + OpenAI 工作坊:在 Codex 开发循环里加入安全反馈,完成 = 可评审的改动 + 独立证据;guide、verify、solve 三步。

    可以学到 / 用在工作里
    • 「已修复」需要独立证据:agent 自己写的测试可能重复同样的误解
    • 把静态分析接进编码循环,用 hook 自动复查
    • secret 拦截只覆盖 hook 能看到的路径,要了解其局限
    • 质量与评审
    • 安全与隔离
    • 编码 agent
  229. 1:16:19
    Vector Isn't Enough: Hybrid Search & Retrieval — Jeff Vestal & James Williams, Elastic

    Elastic 混合检索工作坊:语义检索擅长同义改写但会模糊精确标识,BM25 擅长专有名词但会漏词汇变化,用 RRF 或线性组合融合。

    可以学到 / 用在工作里
    • 语义检索处理同义改写,词法检索保留精确术语与编号:用关键查询测试两者
    • RRF 融合排名,线性组合需用评测集调权重
    • 小语料先试 BM25 + 语义,重排序要算清额外推理成本
    • 检索与知识
  230. 1:50:10
    Agents That Own Their Inference — Du'an Lightfoot & Khaja Omer, Akamai Technologies

    Akamai 工作坊:让 agent 拥有自己的推理层——托管 API 与专用 GPU 的取舍,在 K8s 上用 vLLM 跑 Qwen3-4B,测流式延迟和吞吐。

    可以学到 / 用在工作里
    • agent 延迟包含多次模型调用和工具步骤,要追踪整个任务
    • 权重与活跃上下文共享显存,预算要算上生成和工具结果
    • FP8 在该负载提速明显,推测解码需要合适的草稿模型否则更慢
    • 基础设施与算力
  231. 20:14
    Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff

    Google DeepMind:用 Gemini Live 构建实时多模态语音 agent,演示故事画布、同声传译和 Interactions API 保持上下文。

    可以学到 / 用在工作里
    • 实时语音会话中,传入上一次交互 ID 让后续生成保留上下文
    • 同声传译把检测到的说话语言与每个听众的输出语言分开
    • 让对话能调用具体能力时语音 agent 才更有用
    • 多模态与语音
  232. 55:43
    Build with Perception Agents — Emile Baizel & Shruti Arora, Amazon AGI Lab

    Amazon AGI Lab:感知 agent 工作坊——Nova Act 浏览器流程,开源的视觉标注(导出 JSON 反馈)与视觉验证(检查设计和用户流,支持 Gherkin)。

    可以学到 / 用在工作里
    • 把前端视觉反馈导出为 JSON 和面向 agent 的提示,交给编码 agent 修改
    • 用设计稿和 Gherkin 用户流做视觉验证并出报告
    • 可靠性要算上检查工作的成本
    • 多模态与语音
    • Harness 与架构
  233. 52:35
    Build a Platform and Watch It Burn — Michael Forrester, Accenture & Whitney Lee, Datadog

    Accenture 与 Datadog 工作坊:故意给权限过大的点餐机器人接上 K8s 平台,参与者用营销故事说服它部署外部镜像、拿到「秘密配方」。

    可以学到 / 用在工作里
    • 一个营销故事就能让权限过大的聊天机器人部署外部镜像:K8s 准入策略要独立把关
    • 运行时检测后响应不等于预防
    • 输入过滤与输出过滤作用于不同阶段
    • 安全与隔离
    • 基础设施与算力
  234. 27:28
    Building AI Agents with Real-Time Web Data — Yohan Raju, Bright Data

    Bright Data:给 agent 新鲜、结构化的网页证据;覆盖面扩大后站点结构、选择器、访问限制让抓取变难,流水线包括调度、代理、浏览器、解析。

    可以学到 / 用在工作里
    • 网页数据采集分为访问、抽取、校验、交付四个职责,选择器失效可能静默丢字段
    • 按问题决定数据新鲜度
    • 搜索负责发现页面,抽取负责字段
    • 检索与知识
    • 基础设施与算力
  235. 1:46:21
    The Data Context Layer for Agents — Yoni Michael & Brandon Callender, Typedef

    Typedef:给编码 agent 的数据上下文层——从转换代码推导粒度、血缘、指标含义并对照真实数据;合法的 SQL 也可能重复计数或悄悄改了业务定义。

    可以学到 / 用在工作里
    • 合法 SQL 也可能改变粒度或指标含义:先检查行身份、join 基数与业务谓词
    • 确定性推导结构与血缘,对照真实数据,再用 LLM 补充语义
    • 让 agent 真正用上图谱:熟悉的工具名和结果格式
    • 检索与知识
    • 质量与评审
  236. 14:22
    AI Apps in a Flash: Ship to GPUs Without Docker — Dean Quiñanola, Runpod

    Runpod Flash:不写 Dockerfile 就把 Python GPU 应用部署成队列式或负载均衡的 serverless 端点。

    可以学到 / 用在工作里
    • 无需 Dockerfile 把 Python GPU 函数部署为 serverless 端点
    • 本地开发即可远程执行并安装依赖
    • 上线时注意滚动更新仍在服务旧代码
    • 基础设施与算力
  237. 59:55
    Agent Speedrun — Elizabeth Fuentes Leone & Sandhya Subramani, AWS

    AWS Agent Speedrun:用 Strands Agents 做客服 agent,再部署到 Bedrock AgentCore,查看消息序列和 token 指标。

    可以学到 / 用在工作里
    • 用 hook 限制每次请求的工具调用次数,但要另外处理「结束回合」
    • skills 按需提供流程,steering 在关键点检查流程与语气
    • 部署后看消息序列和 token 指标定位问题
    • Harness 与架构
    • 基础设施与算力
  238. 34:13
    Parameter Golf with AutoResearch — Vayum Arora, Zhengyao Jiang, Dixing Xu & Dhruv Srikanth, Weco AI

    Weco AI 工作坊:用 AutoResearch 玩「参数高尔夫」——模型 16MB、训练 10 分钟内,agent 反复改代码、评估、保留改进,目标是更低的 FineWeb bpb。

    可以学到 / 用在工作里
    • AutoResearch 的要素:可编辑代码、可回放评测、指标方向、搜索预算、超时、初始指导
    • 评测越快越便宜、噪声越低,可做的实验越多,但仍防不了奖励作弊
    • 用实验树保存每个候选的代码与分数
    • 模型与训练
    • 评测
  239. 20:43深读
    The Lethal Trifecta Is Already on Your Laptops — Michael Patterson, Coder

    Coder:致命三要素已经在你的笔记本上——编码 agent 能读私密数据、接触工单/日志/文档里的恶意指令、对外通信;需要隔离的工作空间。

    可以学到 / 用在工作里
    • 给每个 agent 检查三角:它能读到哪些私有数据?会读到哪些不可信内容?能往外发什么?至少切断一条边。
    • 与其禁止,不如提供一条被批准、可观测的 agent 使用路径(标准化远程环境 + 模型网关),把影子使用拉回视野。
    • 安全与隔离
    • 编码 agent
  240. 19:44
    Beyond RAG: A Relational Context Engine That Cuts Token Burn — Unblocked

    Unblocked 的上下文引擎:把代码、文档、PR 和对话里的组织知识连成按任务、个性化、带权限的上下文;演示中有上下文时成本 1.29 美元、90 秒,无上下文 2.60 美元、3 分钟。

    可以学到 / 用在工作里
    • 按任务把代码、架构文档、PR 和对话连起来,减少 agent 的探索成本(演示中成本减半、耗时减半)
    • 身份、时间、状态、聚合问题需要结构化查询
    • 在模型之外校验生成的操作并注入租户约束
    • 检索与知识
    • 上下文 / Skills / MCP
  241. 19:39
    From Your Laptop to the Pipeline: Scaling Custom Agents with GitHub Copilot

    GitHub Copilot:从本地 agent 到组织共享 agent 再到 CI 中的自主工作流,内置 Explore 与 Rubber Duck agent,agent builder 生成描述、成功标准和方法。

    可以学到 / 用在工作里
    • 自定义 agent = 任务说明 + 模型选择,探索与复核可用不同配置
    • 生成的 agent 定义仍需人工修改关键决策
    • 共享定义与跨仓库执行是两个问题,CI 中自主运行要有人工检查点和执行遥测
    • 编码 agent
    • 软件工厂 / 多 agent
  242. 17:15
    Small Models, Big Results: Training a Finance Agent for Under $500 — Charles Dickens, Snorkel AI

    Snorkel AI 与伯克利:花不到 500 美元用 RL 训练 Qwen3 4B 金融 agent,在金融基准上接近 60%,超过 235B 版本的 51%;数据来自 SEC 10-K 抽取的约 6900 张表。

    可以学到 / 用在工作里
    • 不到 500 美元用 RL 训练 4B 金融 agent,在该任务上超过 235B 版本(约 60% vs 51%)
    • 用可校验答案的数据(从 10-K 表格生成问题)
    • 工具使用纪律(不幻觉 schema、不灌满上下文)是训练重点,二元最终答案奖励效果更好
    • 模型与训练
    • 行业应用
  243. 17:01
    From 15% to 90% GPU Utilization: Fix the Data Pipeline, Not the Model

    Amazon AGI:多模态 SFT 的 GPU 利用率从 15% 提到 90%,问题在数据管线(取一个 batch 要 100 秒而训练只要 15–20 秒),不在模型。

    可以学到 / 用在工作里
    • GPU 利用率低往往是数据管线问题(取 batch 100 秒、训练 15–20 秒)
    • 按工作类型选并发:I/O 用异步,CPU 用多进程
    • 预取隐藏准备时间,别让大数组经过协调节点,注意单节点网卡瓶颈
    • 模型与训练
    • 基础设施与算力
  244. 22:37
    Zero Cold Starts: Serverless AI Agents on Akamai Functions — Thorsten Hans

    Akamai Functions:用 Spin 和服务端 WebAssembly 部署全球分布的 MCP 服务器与 agent,零冷启动。

    可以学到 / 用在工作里
    • 用 WebAssembly 组件组合出 MCP 服务器,全球分布部署,启动开销极低
    • 部署时等所有区域就绪再切换
    • 决策日志串起意图、批准、远程工具调用与持久化
    • 基础设施与算力
  245. 15:03
    How MiniMax M3 Was Built: Sparse Attention and Native Multimodality — Olive Song

    MiniMax M3 怎样造出来:稀疏注意力(轻量索引分支选候选块)、百万 token 上下文、从第一步起图文联合训练,算法与基础设施协同设计。

    可以学到 / 用在工作里
    • 稀疏注意力:轻量索引分支选候选块,主分支只读选中的 KV
    • 按头选择保留 GQA 多样性,块级检索降低开销
    • 从第一步就图文联合训练几乎不损害文本能力
    • 模型与训练
  246. 17:50
    AI Agents Don't Read Your Policy Docs. They Hit Your APIs — Gravitee

    Gravitee:agent 不读你的政策文档,它直接打你的 API;治理要由网关等基础设施强制,演示拦截「删除全部订单」工具。

    可以学到 / 用在工作里
    • 工具发现与工具授权是两回事:网关可拒绝「删除全部订单」而允许单个取消
    • 限流与提示大小限制必须在推理前生效才省钱
    • 语义缓存减少重复调用
    • 安全与隔离
    • 基础设施与算力
  247. 18:07
    Building on the Codex Harness — Dominik Kundel, OpenAI

    OpenAI:基于开源 Codex App Server 构建自定义界面,JSON-RPC 式客户端/服务端消息、线程创建、配置读取、流式增量,120+ 种客户端消息。

    可以学到 / 用在工作里
    • 用开源 Codex App Server 构建自定义界面,复用同一个 harness
    • 开发者指令保留基础提示,动态工具通过工具搜索被发现
    • 打包固定版本的服务端二进制与绑定;脚本场景用 codex exec
    • Harness 与架构
    • 编码 agent
  248. 15:11
    Why Your Company Needs a Context Graph (and How to Build It) — Gil Feig, Merge

    Merge:公司需要「上下文图谱」作为公司大脑——第三方数据、结构化上下文、记忆和 skills;跨大量客户的分析需要同步数据而不是实时分页调 API。

    可以学到 / 用在工作里
    • MCP 继承源 API 的限制:跨大量记录的问题需要同步数据副本
    • 公司 skill 指导检索口径(什么叫客户满意)
    • 实时调用、同步记录、派生摘要按新鲜度和成本组合使用,答案要带来源与时效
    • 检索与知识
    • 上下文 / Skills / MCP
  249. 15:55
    Stop Prompting — Greg Pstrucha, Sentry

    Sentry:别再提示了。对 agent 的重复纠正应变成持久的仓库规则;上下文压缩后 agent 又犯低级错(过度防御、弱测试、多余端点),用测试、严格类型和自定义 linter 兜底。

    可以学到 / 用在工作里
    • 把反复的口头纠正变成持久的仓库规则:自定义 lint
    • 检查端点响应类型与 OpenAPI 一致,防止 API 漂移
    • 生成的 skill 会钻检查器空子,用基于政策的评审补足确定性检查
    • 质量与评审
    • 上下文 / Skills / MCP
  250. 18:20
    From Context to Memory: Your Agents Need a Real Memory Layer — Anders Swanson, Oracle

    Oracle:agent 需要真正的记忆层——形成、召回、持久化、演化与评估,区分情景、语义、程序性记忆与临时工作状态。

    可以学到 / 用在工作里
    • 记忆是能跨会话被检索复用的托管状态:形成、召回、演化、评估
    • 脱敏要在丰富和嵌入之前,读写都要校验范围
    • 混合召回(语义、词法、关系、图、时间、反馈)生成紧凑的上下文卡片
    • 检索与知识
    • Harness 与架构
  251. 11:34
    AI Writes More PRs. Who Validates Them? — Ali-Reza Adl-Tabatabai, Sonar

    AI 让 PR 更多更大,谁来验证?Gitar 的 agent 验证流程:可定制评审与合并阻断、CI 根因摘要、flaky 测试重试、迭代修到全绿、规则控制自动合并。

    可以学到 / 用在工作里
    • AI 让 PR 更多更大,工作移到 CI 和评审:把评审、CI 诊断、重试与修复连成走向全绿的循环
    • 逐步授予权限:先评论,再阻断、自动修复、按规则合并
    • 质量与评审
    • 基础设施与算力
  252. 17:17
    Generation Is Cheap, Review Is Expensive: How to Stop Shipping AI Slop — Gabriel Martinez, G2i

    G2i:slop 是「思考还没结束,产出看起来已经完成」;生成变便宜不会降低理解和维护系统的成本,agent 会放大已有的架构混乱。

    可以学到 / 用在工作里
    • slop 是「思考还没结束,产出看起来已经完成」
    • 生成更大的产物而不解决歧义,只是把思考转嫁给评审者
    • 保持小改动、可见的工作流和约定
    • 质量与评审
    • 范式与判断
  253. 18:20
    Designing CLIs for Agents, Not Humans — Pedro Lopez, Airbyte

    Airbyte:为 agent 而不是人设计 CLI;MCP 服务器和 agent CLI 都是共享 API 之上的薄层,以 OpenAPI 为唯一事实来源,Context Store 支持跨系统查询。

    可以学到 / 用在工作里
    • MCP 和 CLI 都是共享 API 之上的薄层,以 OpenAPI 为唯一事实来源
    • 渐进发现让初始上下文保持小
    • MCP 认证要适配真实客户端,CLI 输出 JSON 与可预测命令
    • 上下文 / Skills / MCP
    • 产品与交互
  254. 17:44
    Why 80% Reliability Isn't Good Enough — Felipe Blanes, Amazon AGI Lab

    Amazon AGI Lab:80% 可靠不够。Nova Act 浏览器 agent 的「基准幻觉」,用客户语言定义成功、埋点并直接和客户聊,建立评测飞轮。

    可以学到 / 用在工作里
    • 静态基准无法覆盖客户的新任务:建立评测飞轮,用客户语言定义成功并埋点
    • 可靠性的价值体现在省掉的工作,需要盯着修的 agent 可能加重负担
    • 直接和客户交流诊断模型、harness、产品缺口
    • 评测
    • Harness 与架构
  255. 16:38
    Giving AI Agents Memory That Learns — Jake Broekhuizen, LangChain

    LangChain:会学习的 agent 记忆——trace 和日志只是证据,只有改变 agent 之后读到的上下文才算记忆;区分语义、情景、程序性记忆。

    可以学到 / 用在工作里
    • trace 只是证据,只有写入并被下次读取的上下文才是记忆
    • 行为纠正属于程序性记忆(规则和 skill)
    • 只把对未来行为有用的子集提升为记忆,确保读路径真正生效
    • 检索与知识
    • Harness 与架构
  256. 15:53
    Why Bigger Context Windows Won't Save Your Agent — Elizabeth Fuentes Leone, AWS

    AWS:更大的上下文窗口救不了你的 agent——大工具输出不断堆积、长输入中间的信息更难被用上;上下文工程四策略(写、选、压缩、隔离)。

    可以学到 / 用在工作里
    • 更大的上下文窗口不解决选择问题:工具输出会淹没相关信息
    • 大负载用指针保存,在 agent 间共享指针而非内容
    • 对重复工具调用设明确停止点,区分会话历史与长期记忆
    • 上下文 / Skills / MCP
  257. 18:41
    Turning Agent Memory Into Skills That Work — Will Lyon, Neo4j

    Neo4j:把 agent 记忆变成可用的 skills——共享上下文图谱结合短期消息、长期实体知识和推理记忆,决策轨迹记录证据、策略、工具调用与成本。

    可以学到 / 用在工作里
    • 实体解析 + 共享本体把检索到的提及变成有规范 ID 的领域知识
    • 决策轨迹保存证据、策略、工具调用与成本
    • 从记忆蒸馏 skill 时检查证据覆盖与主题一致性,必要时拆分
    • 检索与知识
    • 上下文 / Skills / MCP
  258. 16:39
    Why We Deleted Our MCP Server and Rebuilt It — Abhi Arya, Reducto

    Reducto 为什么删掉 MCP 服务器重做:初版暴露了一切,应围绕用户能验证的工作设计 agent 能力,并想清楚 agent 出错时谁承担代价。

    可以学到 / 用在工作里
    • 「一个端点一个工具」的 MCP 演示好看但工作流不可解释:把已知产品模式封装进工具
    • 提供实时状态快照让 agent 引用真实配置
    • agent 的触达范围要在人能检查的范围内
    • 上下文 / Skills / MCP
    • 产品与交互
  259. 17:26
    We Mapped 115 Microservices for Our Coding Agents — Kamalakannan Nandagopal, Postman

    Postman 为编码 agent 绘制 115+ 微服务的 API 上下文图谱,连接服务、端点、实现代码和调用方,让 agent 跨服务改动不再盲人摸象。

    可以学到 / 用在工作里
    • API 上下文图谱连接调用方、端点、实现代码和数据依赖,帮助 agent 跨仓库推理
    • 用历史真实决策作为评测基准
    • 新鲜度是正确性的一部分,依赖关系要持续更新
    • 检索与知识
    • 编码 agent
  260. 17:13
    Let Anyone at Your Company Ship Internal Apps with AI — Garrett Galow, WorkOS

    WorkOS 让任何员工用 AI 发布内部应用:构建变便宜了,部署、认证和分发才是瓶颈,于是给非工程师配好平台和护栏。

    可以学到 / 用在工作里
    • AI 写的代码要对同事有用,必须同时解决部署、认证与访问
    • 一条 CLI 准备环境与模板,内部平台提供托管、SSO、密钥与发现
    • 用「无工程师提交的常用应用比例」(37%)衡量赋能效果
    • 团队与组织
    • 产品与交互
  261. 16:49
    Brains vs Hands: How to Run AI Agents Safely in Production — Viren Baraiya

    生产 agent 的「大脑与手」:LLM 只负责提议下一步,执行由 harness 和工作流引擎完成,像微服务一样协作、可等待数月、可审计。

    可以学到 / 用在工作里
    • LLM 是大脑负责提议下一步,harness 是手负责执行、审批和副作用
    • 在运行时组装有限的已定义任务(后绑定 saga)
    • 执行历史必须输入下一轮计划
    • Harness 与架构
    • 基础设施与算力
  262. 15:34
    Your AI Agent Has No Nervous System — Matt Gibiec, Dynatrace

    Dynatrace:编码 agent 没有「神经系统」,需要生产环境上下文才能做出有用决策;Bluebox 把生产信息提供给编码 agent。

    可以学到 / 用在工作里
    • 编码 agent 需要生产环境上下文:服务依赖、调用方式、历史行为
    • 本地测试时带入生产依赖信息,合并前考虑相关工作负载
    • 运行时偏差 + 仓库变更历史共同指导诊断
    • 基础设施与算力
    • 编码 agent
  263. 15:32
    How a Remote Company Builds AI Fluency — Em Shreve, Automattic

    Automattic(1400+ 人、82 国全远程)培养 AI 熟练度:工具之外要给专门的实验时间,两周线下项目一半引导学习一半真实项目,每日演示。

    可以学到 / 用在工作里
    • 工具访问不等于学习时间:给出受保护的两周(一半引导学习、一半真实项目)
    • 课程从使用 skills/MCP 进阶到构建集成、扩展 harness、运行自主 routine
    • 学员再去教别人,共享 MCP 基础设施
    • 团队与组织
  264. 23:21
    Grep or Embeddings? Agentic Search Over Company Documents — George He, LlamaIndex

    LlamaIndex:grep 还是向量?Claude Code 的 grep 适合小、文本、本地、有结构线索的代码;企业文档有规模、混合格式、权限和同步问题,需要 agent 式检索。

    可以学到 / 用在工作里
    • grep 适合小、文本为主、可导航的代码库;企业文档规模大、格式混杂,需要预建索引
    • 检索 harness 组合混合检索、列目录、元数据过滤、grep 与精读
    • 同时准备结构化文本和页面截图,保持内容、权限、索引同步
    • 检索与知识
  265. 18:32
    The Software Factory: From Bug Report to Production Code — Davis Palmie, Factory

    Factory:软件工厂把 bug 报告、用户反馈等信号变成生产部署;评审、调试、文档、测试和协调比写代码更大,工程师转向治理 agent、定架构和优先级。

    可以学到 / 用在工作里
    • 软件工厂连接告警、规划、文档、实现、评审、测试、部署、监控,写代码只是其中一步
    • 从一个窄而可验证的职责开始(把 Sentry 告警和 trace 变成诊断供人审)
    • 模型按任务选,部署按策略,测试按意图
    • 软件工厂 / 多 agent
  266. 18:31
    From 36% to 100%: How Self-Improving Agents Write Their Own Skills — Rafal Wilinski, Runlayer

    Runlayer:从 36% 到 100%,让自我改进的 agent 自己写 skills,把经验变成公司知识;三大障碍是本地开发者中心的流程、写 playbook 的成本和采用不均。

    可以学到 / 用在工作里
    • 成功轨迹提供可复用路线,失败轨迹暴露缺失的护栏与依赖:让 agent 自己写 skill
    • 用 MCP 从中心服务器按查询和角色分发 skill
    • skill 渐进披露:短描述用于发现,完整流程按需进入上下文
    • 上下文 / Skills / MCP
    • Harness 与架构
  267. 20:41
    Why AI Agents Should Have Their Own Sandbox — Philipp Schmid, Google DeepMind

    Philipp Schmid:agent 应该有自己的沙箱。Gemini Interactions API 统一模型与 agent 接口(多模态、服务端状态、后台任务、内置+自定义工具),托管云沙箱执行。

    可以学到 / 用在工作里
    • 对话 ID 保留对话上下文,环境 ID 保留文件与已装工具,两种连续性要分开
    • 工具结果用类型化步骤表示,而不是当作普通用户消息
    • 先准备好环境,再用环境 ID 定义可复用 agent
    • 基础设施与算力
    • Harness 与架构
  268. 19:12
    Redesigning How Software Gets Built With AI Agents — Sonar & McKinsey Panel

    Sonar 与麦肯锡圆桌:AI 普及与规模化收益之间有差距,成功者重设端到端流程、改进 agent 工具与上下文、调整角色和运营模式。

    可以学到 / 用在工作里
    • 规模化 agent 要改流程、工具和角色,试点成功不会自动扩散
    • 平台团队度量交付、质量、返工和开发者情绪,并自动化完整工作负载
    • 权限逐步扩大:建议 → 阻断 → 自动修复 → 合并
    • 团队与组织
  269. 17:12
    Why Your AI Agents Can't Talk to Each Other (Yet) — Vlad Luzin, BAND

    BAND:agent 需要在组织内外互相通信;对抗式编码会话本质是人在转发消息的多 agent 系统,「循环工程」就是把转发自动化。

    可以学到 / 用在工作里
    • 分开的规划、编码、评审会话本质上是人在转发消息的多 agent 系统,「循环工程」就是把转发自动化
    • 共享工作需要有序传输、重试、可恢复状态与身份映射
    • 观测要把消息投递连到接收方之后的工具调用
    • Harness 与架构
    • 软件工厂 / 多 agent
  270. 20:08
    Every AI Company Is Accidentally Building a Bank — Dor Sasson, Stigg

    Stigg:每家 AI 公司都在不小心造一家银行——推理前同步检查权益、预留资金、异步对账实际用量。

    可以学到 / 用在工作里
    • AI 计费像银行:推理前同步检查权益、运行中预留额度、事后异步对账
    • 并发消费需要协调预留,避免对同一余额重复授权
    • 保留额度来源与消费归属(团队、用户、agent)
    • 创业
    • 产品与交互
  271. 19:28
    AI Hackers Are Faster Than Your Pen Test — Eli Cohen, Snyk

    Snyk:AI 黑客比你的渗透测试快,需要持续的进攻性安全,静态扫描、运行时测试和人工渗透各有盲区。

    可以学到 / 用在工作里
    • 攻击者能串联小弱点、利用业务规则:在每个 PR 上做带应用上下文的 AI 渗透测试
    • 侦察、漏洞挖掘、利用验证、修复、报告分给不同 agent
    • 用静态和动态扫描结果引导 AI 测试
    • 安全与隔离
  272. 20:31
    Harness Engineering: How to Build a Software Factory — Dru Knox, Tessl

    Tessl:harness 工程就是搭建自动化并改进软件工厂的循环;区分自主(少纠正)与自动化(少人工评审验证),先提高自主再扩大自动化。

    可以学到 / 用在工作里
    • 自主(少纠正)与自动化(少人工验证)是两个指标,同时跟踪质量
    • 开发中跑便宜检查、PR 上跑昂贵检查,再有一个跨日志、评审、用户反馈的元循环
    • 把反复出现的问题(如 flaky 测试)变成工厂改进
    • 软件工厂 / 多 agent
    • Harness 与架构
  273. 1:07:24
    Cooking with Codex — Charlie Guo & Gabriel Chua, OpenAI

    OpenAI「Cooking with Codex」工作坊:提供上下文、生成产物、执行动作、协作复杂任务、长期自动化、嵌入其他产品六步;4 分钟做出 macOS 翻译应用。

    可以学到 / 用在工作里
    • Appshot 把应用画面和文字带进任务,插件提供可复用做法与服务连接
    • 按需要的访问选择浏览器/应用控制方式
    • 长任务需要可验证的完成标准、可见进度和暴露阻塞的方式
    • 编码 agent
    • 产品与交互
  274. 17:46
    Why Building an Eval Platform Is Harder Than It Looks — Braintrust

    Braintrust:自建评测平台比看起来难——从表格日志、自研报表到系统化平台的四阶段,离线评测与生产可观测性要打通。

    可以学到 / 用在工作里
    • 离线评测建立预期,生产可观测性检验预期
    • 改进循环:观察到的失败 → 离线测试 → 检查回归 → 选定版本回到生产
    • 评测平台要同时支撑即时查看大轨迹和跨时间分析
    • 评测
    • 基础设施与算力
  275. 19:06
    Move Fast and Don't Break Things: Scaling Databases for the AI Era — PlanetScale

    PlanetScale:AI 时代扩展数据库——数据面与频繁变动的周边服务隔离、跨可用区主从冗余,规模化后单机故障是日常。

    可以学到 / 用在工作里
    • agent 流量让数据库流量暴涨:隔离数据面与周边服务,跨可用区冗余
    • 分片、背压、解耦让工作负载独立扩展
    • 给 agent 可编辑的分片配置和流量预算,用 schema 分支安全改动
    • 基础设施与算力
  276. 17:06
    The Self-Improving OSS Agent Stack — Marc Klingen, Langfuse

    Langfuse:自我改进的开源 agent 栈,把生产追踪监控与离线数据集、实验、评测连接;AI 可以提修复、维护数据集,人负责定义失败和方向。

    可以学到 / 用在工作里
    • 把生产 trace 连到代表性离线数据集,用真实问题测试改进
    • 人把时间花在选择相关失败、修改评估标准和检查修复是否服务目标
    • 产品里的批准、编辑、修改请求本身就是改进信号
    • 评测
  277. 21:05
    The 6 Pillars of an Agentic Harness for Production — Varun Krovvidi, Resolve AI

    Resolve AI:运行和修复生产软件的 agent harness 六大支柱;运维占工程时间约 70%,跨基础设施、遥测、代码和多团队。

    可以学到 / 用在工作里
    • 生产运维 agent 六支柱:按任务选模型、控制上下文、要求因果证据链、治理动作、保留学习、评估调查过程
    • 根因结论必须有因果链,缺环就降低置信度
    • 宽泛定位后用精确工具调用
    • Harness 与架构
    • 基础设施与算力
  278. 1:51:37
    Advanced Workshop: Mastering AI Observability — Doug Guthrie, Braintrust

    Braintrust 进阶工作坊:以追踪为基础,代码打分器、LLM 评委,以及用 Topics 聚类发现评测覆盖之外的问题;评委要经人工校准。

    可以学到 / 用在工作里
    • trace 提供中间证据,打分器和主题标签帮助在海量流中找到相关失败
    • 自定义维度能发现默认分类漏掉的领域问题
    • 生产失败进入评测集,同时检验新边界与已有行为
    • 评测
  279. 59:58
    What Is an Inference Engine, Anyway? — Charles Frye, Modal

    Modal 的 Charles Frye:推理引擎到底是什么(以 SGLang、vLLM 为参照)——交互式、后台 agent、数据处理的延迟与吞吐需求不同,prefill 与 decode 的算术特性决定调度。

    可以学到 / 用在工作里
    • 用输入/输出长度、请求率、前缀复用和延迟预算描述工作负载
    • 调度器虽然计算少却可能卡住 GPU
    • KV cache、CUDA graphs、推测解码分别节省不同的重复工作,用生产 trace 调优
    • 基础设施与算力
    • 模型与训练
  280. 14:52
    How AI Agents Pay: Checkout in ChatGPT and Google AI Mode — Sam Parsons, PayPal

    PayPal:agent 怎样付款——ChatGPT 里商家自建 MCP 应用 + 基于 ACP 的即时结账,Google AI Mode 等三条接入路径。

    可以学到 / 用在工作里
    • agent 结账三条路:ChatGPT 中商家 MCP 应用 + 平台结账、Google AI Mode 发布商品与端点、外部结账
    • 支付令牌按商家、金额上限、币种、有效期约束
    • 保留结账来源归因
    • 行业应用
    • 产品与交互
  281. 18:13
    How Many Credentials Should Your AI Agent Have? Zero. — Jim Clark, Docker

    Docker:agent 应该有几个凭据?零个。长任务 agent 要有按任务划分的沙箱边界,新闻编辑室例子把网络调研、事实核查和发布分开。

    可以学到 / 用在工作里
    • agent 沙箱里的凭据目标是零:按当前任务的信息和工具设计每个沙箱
    • 把开放网页调研与发布权限分开,把编码与签名操作分开
    • 用统一 MCP 网关集中配置能力,让 harness 可替换
    • 安全与隔离
    • 基础设施与算力
  282. 15:17
    Is Speculative Decoding Worth It? Profiling vLLM on NVIDIA Blackwell — Akamai

    Akamai:在 NVIDIA Blackwell 上用 vLLM 评估推测解码是否值得——小草稿模型提出多个 token、目标模型一次验证,代价是多托管一个模型和 KV cache。

    可以学到 / 用在工作里
    • 推测解码要满足:草稿便宜、接受率高、和目标模型及两份 KV cache 一起放得下
    • 结构化输出任务提速 1.6 倍,高温创意任务接受率低
    • 按任务类型决定是否开启
    • 基础设施与算力
  283. 18:14
    Agentic Search vs Vector Search for Coding Agents: We Ran the Eval — Braintrust

    Braintrust:编码 agent 的 agentic 搜索 vs 向量检索,实际跑评测比较;数据集、任务、打分器、实验,把生产 trace 变成评测用例。

    可以学到 / 用在工作里
    • 评测 = 数据集 + 任务 + 打分器 + 实验配置
    • 用已合并的 bug 修复 PR 构造任务:恢复父提交、从 diff 生成 bug 描述
    • 「只用向量检索」的条件要强制限制工具,提示不够
    • 检索与知识
    • 评测
  284. 1:51:26
    From Vibes to Production: Evaluating and Shipping AI Agents That Work 101 — Laurie Voss, Arize AI

    Laurie Voss 工作坊 101:用 Claude Agent SDK 做的金融分析 agent,经 OpenTelemetry/OpenInference 送 trace 到 Arize,读真实执行发现文件写入失败、报告缺正文、搜索过多。

    可以学到 / 用在工作里
    • 先读 trace 再自动化评测:由观察到的失败和领域需求决定评什么
    • 研究类评委要拿到研究上下文(正确性与忠实度不同)
    • 区分上线门槛与长期目标指标,校准评委
    • 评测
  285. 55:19
    Build the Right Thing: Product Engineering (Part 1) — Kent C. Dodds, EpicProduct.engineer

    Kent C. Dodds 产品工程工作坊(上):编码 agent 越强,选择有价值的工作越重要;工程判断要把客户需求连到数据模型、流程、可观测性、失败模式和最小有用切片。

    可以学到 / 用在工作里
    • 实现越便宜,选对有价值的工作越重要
    • 产品工程把客户需求连到数据模型、流程、约束、可观测性和最小有用切片
    • 先问具体的过往事件、变通办法和成本,再让用户评价方案
    • 产品与交互
    • 范式与判断
  286. 1:01:28
    Lifestyles of the AI-Native — Nick Nisi & Zack Proser, WorkOS

    WorkOS「AI 原生的生活方式」:语音口述目标(本地免费工具 Handy)、Fleet、tmux、会话命名与回顾来管理多个并发编码会话,区分会停的目标与持续循环。

    可以学到 / 用在工作里
    • 语音口述让详细指示更便宜,但并发会话需要命名、摘要和完成提示
    • 目标在可度量结果处停止,循环在时间或取消条件下重复,都要定义验证步骤
    • agent 自建的标记是弱证据,验证要看实际产物
    • 编码 agent
    • 团队与组织
  287. 21:14
    Your LLM Judge Is a Confident Liar: Building Better Verifiers — Browserbase

    Browserbase:LLM 评委是自信的骗子。为 computer use/网页 agent 轨迹构建通用验证器,网站变化与多条正确路径让确定性评测难维护,不可靠的评委会污染基准和训练信号。

    可以学到 / 用在工作里
    • 同一网页 agent,官方评委给 74%,基于证据的验证器给 38%:评委会自信地说谎
    • 为每条任务标准检索截图证据,对比 agent 的声明
    • 过程分与任务完成分开,错误在哪一步就在哪一步扣分
    • 评测
    • 多模态与语音
  288. 59:49
    Evals in AI: A Deep Dive — Tejas Kumar, IBM

    IBM 的 Tejas Kumar 评测深度工作坊:测试用例、期望行为、评委与聚合,确定性检查、schema 校验、成对与逐项评判,警惕位置偏差、讨好、自我偏好和冗长偏好。

    可以学到 / 用在工作里
    • 评测管上线前,harness 控制管运行时,两者都需要
    • 子串断言可能让错误决定通过
    • 用评委看不到的人工判定来校准它,警惕位置偏差、讨好、自我偏好与冗长偏好
    • 评测
  289. 42:16
    From Vibes to Production: Evaluating and Shipping AI Agents That Work 201 — Laurie Voss, Arize AI

    Laurie Voss 工作坊 201:收集 trace、对照明确的「好」评估、找出重复失败、让编码 agent 提修复。

    可以学到 / 用在工作里
    • 质量失败可能藏在 HTTP 200 后面:检查搜索参数与结果
    • 分数压缩 trace,模式压缩失败:找出重复失败
    • 让编码 agent 根据评测解释提修复,再检查改变后的结果
    • 评测
  290. 20:35
    Agent Memory Is Solved. Agent Learning Isn't. — Karthik Ranganathan, Yugabyte

    Yugabyte:单 agent 记忆已解决,集体学习没有;只传最终文档会丢掉推理、失败尝试和历史,迫使其他 agent 重复劳动。

    可以学到 / 用在工作里
    • 只交接最终文档会丢掉被否决的方案和决策上下文,下一个 agent 会重复探索
    • 共享上下文需要受监督的提升和可追溯来源
    • 重建 RAG 管线后忠实度和精确度大幅提升
    • 检索与知识
    • Harness 与架构
  291. 52:09
    Build the Right Thing: Product Engineering (Part 2) — Kent C. Dodds, EpicProduct.engineer

    Kent C. Dodds 产品工程工作坊(下):把「人脸识别签到」需求改写成用户要完成的工作(快速入场),通过追问为什么找到并行排队、NFC 等替代方案。

    可以学到 / 用在工作里
    • 把功能需求翻译成用户情境、想取得的进展和结果再选实现
    • 功能、社交、情感需求都会改变架构
    • 用过去行为和原型实际使用验证问题,用 Kano 分类排序
    • 产品与交互
  292. 21:37
    From Raw Documents to AI-Ready Data — Leo Platzer & Jeff Koss

    从原始文档到 AI 可用数据:40 份精选文件的试点能跑,扩到 8 万份 SharePoint 文件后出现发现、敏感、重复、冲突、时效问题;AI 辅助分类和元数据标注。

    可以学到 / 用在工作里
    • 40 份精选文件的试点会掩盖规模化时的发现、敏感信息和版本冲突问题
    • 条件分类法:先大类再在分支内抽取元数据,带证据和人工反馈
    • 数据切片要定期维护,跟随源的增删
    • 检索与知识
  293. 59:33
    How I Learned to Stop Worrying and Love the Sandbox — Matt Brockman, E2B

    E2B 沙箱夺旗工作坊:隔离用户与主机资源,模板保存进程、内存和文件系统状态,排查故意坏掉的环境。

    可以学到 / 用在工作里
    • 快照保存内存、文件和进程:方便恢复,但也会带回被遗忘的后台任务
    • 任务运行时长与空闲存活时间分开设置
    • 稳定工作区要记录用户到沙箱的映射,先查 CPU、内存、磁盘再改
    • 基础设施与算力
    • 安全与隔离
  294. 17:59
    The Transcript Looked Fine. The Call Wasn't. — Debugging Voice Agents, Arize

    语音 agent 调试要听音频:文字记录看着没事,实际有 2.4 秒冷场、抢话、听错订单号,工具调用把 14 号订单退成 40 号。

    可以学到 / 用在工作里
    • 语音 agent 要听音频:文字记录上的纠正不代表动作改了(14 号订单退成 40 号)
    • 把音频、转写、执行串在同一会话时间线
    • 同时评估语气、延迟、抢话与任务完成
    • 多模态与语音
    • 评测
  295. 10:41深读
    Dashboards Are Dead — Sarah Simionescu, Composio

    Composio:仪表盘已死,agent 正在取代仪表盘成为获取答案和完成工作的界面;MCP 提供连接,但对话不积累学习、工具目录太大等问题仍未解决。

    可以学到 / 用在工作里
    • 设计 MCP/工具时同时提供「怎么用」:前置步骤、依赖关系、推荐调用顺序,而不只是函数列表。
    • 大结果集用引用(ID、文件、保存的 cohort)在工具之间传递,不要把原始行塞进上下文。
    • 产品与交互
    • 上下文 / Skills / MCP
  296. 12:23
    AI Coding Agents Are Breaking Big Codebases — Dan Adler, Sourcegraph

    Sourcegraph CEO:AI 编码 agent 正在压垮大型代码库——重复代码、标准不一、脆弱的跨服务依赖,银行要在 9 万个仓库里做同一处改动。

    可以学到 / 用在工作里
    • agent 看不到已有库就会写重复代码:需要全代码库可见
    • 企业修复要找到受影响代码并了解生产上跑的是什么
    • 批量改动:需要判断处用 agent,重复改动用确定性脚本,跨仓库协调
    • 质量与评审
    • 编码 agent
  297. 20:40
    Agents That Write Their Own Tools at Runtime — Sandhya Subramani, AWS

    AWS Strands:运行时自己写工具的 agent——只给编辑器、shell 和 load_tool,在会话中创建并加载计算器、字符计数器等工具。

    可以学到 / 用在工作里
    • 元工具:只给编辑器、shell 和动态加载,agent 在会话中写并加载新工具,也能创建子 agent
    • 生成的代码补不了缺失的外部访问
    • 分别评估结果、工具调用和过程
    • Harness 与架构
  298. 16:18
    We Built an AI Support Agent That Resolves 80% of Tickets — AssemblyAI

    AssemblyAI 的支持 agent Joey 解决 80% 工单:现成机器人只解决约 10% 且限制定制,改用 Claude Agent SDK + Pylon 自建。

    可以学到 / 用在工作里
    • 现成客服机器人难以定制:自建(Claude Agent SDK)能把观察到的失败快速变成改动
    • 先嵌入检索相关文档,再用文件系统搜索补充
    • 未解决的工单就是下一批能力的清单
    • 行业应用
    • Harness 与架构
  299. 19:15
    The Human Is an Async API — Melanie Warrick, Temporal

    Temporal:人是一个异步 API。人的参与应放进 agent 的持久化层,客户改单只暂停受影响的配送,其他订单继续。

    可以学到 / 用在工作里
    • 人是一个异步 API:需要人决定的部分暂停,其他工作继续
    • workflow 协调步骤,activity 调用外部模型与工具,等待条件不占线程
    • worker 下线时批准也能排队,事件回放重建状态
    • Harness 与架构
    • 基础设施与算力
  300. 16:05
    Keyword Search Is Dying. Is Your Catalog Ready for AI Agents? — PayPal

    PayPal:关键词搜索正在消亡,商品目录要为 agent 准备更丰富的上下文;模型排序不透明,必须做实验。

    可以学到 / 用在工作里
    • 购物从关键词转向描述需求,agent 代为搜索:商品需要更丰富的上下文
    • 混合检索兼顾字面匹配与语义
    • 目录单薄时补充属性收益最大,但过多上下文会削弱信号,要做实验
    • 行业应用
    • 产品与交互
  301. 20:11
    Stop Fine-Tuning to Fix Retrieval Problems — Anant Srivastava

    别用微调修检索问题:提示、记忆、权重各司其职——小而稳定的行为指令放提示,大而变化、需引用的知识放检索,在历史工单上微调会把过时产品名烤进权重。

    可以学到 / 用在工作里
    • 提示、记忆、权重各管一类:小而稳定的行为写提示,大而变化、需引用的知识放检索
    • 检索缺失时修检索,别用微调把过时事实烤进权重
    • 只对稳定的核心行为微调
    • 模型与训练
    • 检索与知识
  302. 20:10
    I Built a Personal AI Agent on a Raspberry Pi — Jeremy Adams, Neo4j

    Neo4j:在树莓派上做可穿戴个人 agent,NanoClaw 把 agent 进程放进 Docker、用 Claude Agent SDK,WhatsApp 作为界面。

    可以学到 / 用在工作里
    • 小设备上跑 agent:树莓派负责运行时、外设和本地存储,推理放在云端
    • 用 POLE+O(人、物、地点、事件、组织)给个人记忆建结构
    • 离线时先保留原始记录,联网后再做云端增强
    • Harness 与架构
    • 产品与交互
  303. 17:03
    An Interaction Is All You Need — Ivan Leo, Google DeepMind

    Google DeepMind 的 Ivan Leo:从单次补全、函数调用到会推理、用工具、有记忆、在环境里执行的 agent,需要统一的 Interactions API 和 Managed Agents。

    可以学到 / 用在工作里
    • 用 previous_interaction_id 延续服务端管理的对话状态,避免自己管理缓存
    • 多模态可以链式传递(照片→图像→视频)
    • 对话连续性与文件系统连续性分开保留
    • Harness 与架构
  304. 18:00
    Your LLM App Returned 200 OK. It Was Still Wrong. — Marina Petzel, Datadog

    Datadog:LLM 应用返回 200 OK 仍可能是错的;除了延迟、错误、流量、饱和度,还要监控回答变化、动态成本、新安全威胁和主观质量。

    可以学到 / 用在工作里
    • 200 OK 也可能答错:在延迟/错误/流量/饱和度之外监控成本、安全和回答质量
    • 上下文增长、换贵模型、未缓存的重复调用会在用户不增长时推高成本
    • 按功能、用户、模型、环境给请求打标签以归因成本
    • 评测
    • 基础设施与算力
  305. 11:35
    YOLO Mode, Safely: MicroVM Sandboxes for Any Agent — Rowan Christmas, Docker

    Docker Sandboxes:用 microVM 边界安全地跑 YOLO 模式的编码 agent;一次实验中五条提示就让 agent 翻到浏览器历史和银行信息。

    可以学到 / 用在工作里
    • 警告并不移除文件访问:换个说法 agent 就能翻到浏览器历史和银行信息
    • microVM 沙箱改变 agent 能发现的东西
    • 密钥占位符、网络策略和审计日志分别解决凭据、出站和追溯问题
    • 安全与隔离
    • 基础设施与算力
  306. 19:35
    How VS Code Went from Monthly to Weekly Releases with AI — Harald Kirschner

    VS Code 如何从月度发布变成周发布:更快的构建、应用自动化、受监督的修复、产品评测和每日原型。

    可以学到 / 用在工作里
    • 随着模型与 harness 改进,agent 代码存活率从 55% 升到 86%:评审、发布质量和产品反馈都要跟上
    • 由领域负责人维护轻量仓库地图和 skills
    • 构建提速 10 倍让 agent 的反复验证更便宜,周发布靠分阶段发布
    • 软件工厂 / 多 agent
    • 团队与组织
  307. 20:32
    What Makes Open Models Fast in Production — Sujee Maniyam, Nebius

    Nebius Token Factory:开源 LLM 在生产中如何变快,推理 → 日志分析 → 后训练(LoRA、全量微调、蒸馏、量化)→ 部署的改进循环。

    可以学到 / 用在工作里
    • 生产模型需要「推理日志 → 数据集 → 后训练 → 部署」的循环
    • 同一模型在不同硬件和引擎上性能成本不同
    • 缓存感知路由、推测解码、保留可复用上下文
    • 基础设施与算力
    • 模型与训练
  308. 16:54
    GPU Died. Training Didn't: Self-Healing Training at Scale — Crusoe

    Crusoe:GPU 坏了训练不停,在托管 K8s 上跑托管 Slurm(SchedMD Slinky),兼顾组调度、拓扑感知和故障恢复。

    可以学到 / 用在工作里
    • 千卡训练里硬件故障是日常:Slurm 管训练调度,K8s 管基础设施与节点替换
    • 恢复跨层:重新排队任务、替换节点、从检查点恢复
    • 处理 SIGTERM 及时保存检查点
    • 基础设施与算力
    • 模型与训练
  309. 18:43
    MCP Doesn't Suck. Your Agent Does. — Jan Čurn, Apify

    Apify:MCP 不烂,是你的 agent 烂——一次性加载全部工具定义、把结果全塞进上下文才导致膨胀;用渐进式工具发现和 Code Mode。

    可以学到 / 用在工作里
    • 一次性加载全部工具描述是 harness 的问题:渐进发现
    • 子 agent 分开上下文窗口但不消除 token 成本和敏感数据风险
    • 把 MCP 连接变成 shell 可用的 CLI,便于组合和异步任务
    • 上下文 / Skills / MCP
    • Harness 与架构
  310. 15:17
    Stop Renting Your AI's Memory — Dylan Couzon, Qdrant

    Qdrant:别租用 AI 的记忆。本地推理带来自主,个人拥有的持久记忆带来连续性;记忆 = 写入、检索、遗忘,用主题过滤和时效衰减而不是塞整个 Markdown 文件夹。

    可以学到 / 用在工作里
    • 拥有推理带来自主,拥有记忆带来连续性
    • 记忆需要写入、检索、遗忘三种操作,用主题过滤和时效衰减
    • 可搜索的记忆库可以嵌在应用内离线运行
    • 检索与知识
    • 基础设施与算力
  311. 12:23
    Your Coding Agent Is 6 Months Out of Date — Jakub Hojsan, Exa

    Exa:你的编码 agent 落后 6 个月——训练知识早于依赖变更,用上游仓库和 changelog 等新鲜网页证据支撑编码与评审。

    可以学到 / 用在工作里
    • 编码 agent 的知识落后于依赖变化:用上游仓库和 changelog 支撑评审
    • 给搜索工具定义触发条件(如依赖版本升级)
    • 按查询提取相关片段,保持上下文精简
    • 上下文 / Skills / MCP
    • 编码 agent
  312. 18:08
    Stop Rationing Tokens: Let the Harness Pick the Model — Kimchi by Cast AI

    Cast AI 的 Kimchi:别再限额 token,让 harness 按任务结果在开源与闭源模型间选择,按「同等质量下每个完成任务的成本」比较模型。

    可以学到 / 用在工作里
    • 别限额 token:按「同等质量下完成同一任务的成本」比较模型
    • 模型选择随可用模型变化
    • 长任务移到远程沙箱,让运行时长脱离笔记本,计划和评审请求团队共享
    • 基础设施与算力
    • 模型与训练
  313. 18:33
    The 5 Levels of Self-Driving Production — Eric Schwartz, Traversal

    Traversal:自动驾驶式生产运维的五个等级,可观测性只发现症状和相关性,根因可能在几跳之外(例如过期的 TLS 证书)。

    可以学到 / 用在工作里
    • 代码生成更快会让生产故障排查更多:结账 API 失败的根因可能在几跳之外
    • 企业根因分析要跨服务和团队连接症状
    • 自动驾驶式运维的终点是诊断、修复和验证的闭环
    • 基础设施与算力
  314. 11:15
    Why AI Didn't Actually Make You Ship Faster — Gabriel Spencer-Harper, Meticulous

    Meticulous:AI 并没让你交付更快,瓶颈移到评审和验证;手写断言覆盖不了功能开关、角色、配置的组合,改为录制浏览器工作流并回放对比。

    可以学到 / 用在工作里
    • 手写断言覆盖不了功能开关、角色、配置的组合:录制真实工作流并在改动前后回放对比
    • 录制网络响应、控制浏览器时序以保证确定性
    • 按代码覆盖选择工作流
    • 质量与评审
    • 评测
  315. 20:31
    Lessons from Generating 12 Trillion Synthetic Tokens — Bogdan Gaza, DatologyAI

    DatologyAI 生成 12 万亿合成 token 的经验:BeyondWeb 以精选高质量文档为种子进行改写重组,比无约束生成更有效,小模型更快达到基线。

    可以学到 / 用在工作里
    • 合成预训练数据以精选文档为种子改写重组,比无约束生成更有效
    • 万亿 token 规模时元数据发现可能成为瓶颈(批量列举把 9–11 天降到 2 小时)
    • 合理分区 + 检查点 + 幂等写入让重试可行
    • 模型与训练
  316. 16:49
    Why 99% Accurate Browser Agents Still Fail — Derek Meegan, Browserbase

    Browserbase:为什么 99% 准确的浏览器 agent 仍会失败——事务型流程每一步都累积成本和失败风险;三种交互策略(HTML+无障碍文本、截图 computer use、动态代码执行)。

    可以学到 / 用在工作里
    • 每步 99% 准确、100 步端到端只有约 36.6%:减少模型主导的步骤
    • 用具体产物定义完成,按每笔事务(含重试预算)衡量成功
    • 认证、下载、校验分别做成确定性操作,只把不确定部分交给模型
    • Harness 与架构
    • 多模态与语音
  317. 19:09深读
    The State of AI in Software Development: Data from 400+ Orgs — Justin Reock, DX

    DX 基于 400+ 组织、约 20 万工程师的数据:部署频率上升但变更失败率波动加大,感知可维护性略升;速度指标只是价值的代理。

    可以学到 / 用在工作里
    • 把部署频率、PR 吞吐与变更失败率、评审负担、业务价值放在一起看;单看速度指标会误判。
    • 优化 CI/构建速度,让小 PR 的成本足够低,避免 AI 时代的 PR 膨胀。
    • 按用例比较不同资历工程师的 token 效率,把资深者的用法沉淀成 skills 和培训。
    • 团队与组织
    • 范式与判断
  318. 24:40深读
    The Death of the Code Review: What the Data Actually Says — Laurie Voss, Arize AI

    Laurie Voss「代码评审之死」:代码多 741%、交付只多 30%,人工评审容量撑不住;METR 维护者评估与 Cognition FrontierCode 说明「过测试」和「可合并」的差距。

    可以学到 / 用在工作里
    • 自动评审要设计成多轮、可复现、按一致性过滤的系统,再加工具调查(运行、看日志),而不是一次性生成评论。
    • 评审 agent 会被被审代码里的内容操纵:对不可信来源的 PR 不要只靠 agent 评审,评审环境与写权限隔离。
    • 把团队对「可合并」的标准写成 rubric(回归安全、范围、测试质量、可维护性),既用于评审也用于评测。
    • 质量与评审
    • 范式与判断
  319. 17:34
    Your Agents Are in Solitary Confinement: Why MCP & A2A Aren't Enough — Vlad Luzin, Band

    Band:agent 被单独关押——MCP 和 A2A 不够,需要跨框架、语言、部署环境的共享交互层,而不是人手动在实现和评审 agent 之间转发消息。

    可以学到 / 用在工作里
    • 开发者在两个编码会话之间手动转发就已是协作问题:自动化交换
    • agent 协作需要有序投递、崩溃后的连续性、运行时映射、路由与治理
    • 注册与获准联系分开
    • Harness 与架构
  320. 22:21
    The Chief AI Officer: Scientist, Architect, Coach — Rania Khalaf, WSO2

    首席 AI 官的三重角色:科学家、架构师、教练,比重取决于公司类型、AI 成熟度和个人能力。

    可以学到 / 用在工作里
    • 首席 AI 官的角色按公司类型、AI 成熟度和个人长处在科学家、架构师、教练之间分配
    • 从需要帮助的业务操作开始,有时简单算法就够
    • 衡量 AI 熟练度、采用深度和有用结果,不看 token 消耗
    • 团队与组织
  321. 20:36深读
    Software Engineering Is Becoming Factory Engineering — Zach Lloyd, Warp

    Warp 的 Zach Lloyd:软件工程正在变成工厂工程——分诊、规格、实现、评审、验证、监控的闭环,工程师设计和管理造产品的系统。

    可以学到 / 用在工作里
    • 从分诊 agent 起步:按「简单明确 → 直接实现 / 复杂 → 先写规格并人审」两条路分流,再逐步自动化后续环节。
    • 用四层模型评估自建还是采购:工作入口、控制面、沙箱执行、数据面。
    • 把资深工程师对 agent 输出的纠正沉淀下来,由观察者 agent 定期改写对应 skill,形成可积累的团队知识。
    • 软件工厂 / 多 agent
    • 团队与组织
  322. 22:49深读
    What It Actually Takes to Build a Software Factory — Tereza Tížková, Factory

    Factory 的 Tereza Tížková:软件工厂 = 覆盖反馈、排优先级、执行、验证、改进的自主生命周期;模型与流程独立、可验证的自主、持续学习,人决定做什么。

    可以学到 / 用在工作里
    • 长任务架构:编排者 + 顺序 worker(每步新上下文)+ 独立验证者;完成条件在动手前写好。
    • 加一个「用户测试验证者」真正去点应用,而不只依赖单元测试。
    • 上 agent 之前先做代码库体检:环境可复现、测试/类型/lint 完整、约定写进文档。
    • 软件工厂 / 多 agent
    • Harness 与架构
  323. 17:44
    Orchestras, Not Factories: How the Fastest Builders Work — Charlie Holtz, Conductor

    Conductor:是乐团不是工厂。尝试新工具、只为具体需求优化流程、重要区域保留人工评审、提供组织上下文、用持久云沙箱,人像指挥一样带领人和 agent。

    可以学到 / 用在工作里
    • 新能力出来就尽早试用,只在你掌握特定知识的地方定制工作流
    • 迁移和 agent 反复读取的指令需要人工重点评审
    • 集中组织信息并提供 SQL 工具,云端持久工作区支撑长时间运行
    • 编码 agent
    • 团队与组织
  324. 18:59
    No, That's Not a Software Factory — Ryan Cooke, WorkOS

    WorkOS:那不是软件工厂。把产品规划、项目跟踪和支持分诊纳入工厂,衡量客户交付与可靠性,而不是代码或 PR 数量。

    可以学到 / 用在工作里
    • 沙箱能生成代码不等于改善交付:把规划、项目跟踪、支持分诊也纳入工厂
    • 用工单依赖和完成 webhook 让项目自动推进
    • 衡量客户交付与可靠性,而不是代码或 PR 数量
    • 软件工厂 / 多 agent
    • 团队与组织
  325. 12:52
    Building Self-Improving Agent Software Factories — Suraj Gupta, Warp

    Warp:软件工厂自我改进的三种方式——从运行反馈更新 skills(人审)、可追溯的持久记忆、按任务把工作路由给合适模型。

    可以学到 / 用在工作里
    • 把做重复工作的 agent 与改进流程的 agent 分开,skill 修改走 PR 由人审
    • 保留调查事实供后续使用,记忆可编辑、可追溯
    • 用任务类别上的评测改进模型路由
    • 软件工厂 / 多 agent
    • Harness 与架构
  326. 14:50
    We're the bottleneck, but we don't have to be — Ido Salomon, AgentCraft

    AgentCraft:人的注意力限制了多 agent 的使用,用即时战略游戏式界面监控 agent、指挥工作、审阅结果和协作。

    可以学到 / 用在工作里
    • 多 agent 带来人的协调问题:每个都需要引导、指示和评审
    • 用状态、文件活动热图和「跳到需要注意的地方」快捷键管理 agent
    • 按需要选择监督程度
    • 产品与交互
    • 编码 agent
  327. 19:01
    Get Out of the Model's Way — Kevin Hou, Google Antigravity

    Google Antigravity「别挡模型的路」:随模型进步暴露更多能力——终端访问、Windsurf 去掉聊天、Antigravity 2.0 把 IDE 与 agent 管理器分开。

    可以学到 / 用在工作里
    • 随模型进步把更多能力交给它,让改进在用户工作流中可见
    • 由主 agent 动态组建专家团队并选择模型
    • 评测差异可拆成上百个并行假设调查,并生成界面查看结果
    • 产品与交互
    • 编码 agent
  328. 12:40
    AI-Generated Code Is Already Competing With Human Code — Daksh Gupta, Greptile

    Greptile 观察数据:agent 写的 PR 与人写的在回滚率、规模、问题严重度、评审轮数上相近,但失败模式不同;验证应聚焦用户契约、未来风险和作者意图。

    可以学到 / 用在工作里
    • 识别 agent 写的 PR 需要多种信号(作者字段不到 1%,加上共同作者和分支前缀约四分之一)
    • 观察数据中 agent 与人类 PR 在回滚、规模、问题严重度上相近,但失败模式不同
    • 验证聚焦用户契约、未来风险与作者意图
    • 质量与评审
  329. 13:46
    GLM-5.2: Open Weights, Near-Frontier Intelligence — Zixuan Li, Z.ai

    智谱 GLM-5.2:开放权重、接近前沿,困难编码与 agent 评测介于 Claude Opus 4.7 与 4.8 之间,非思考模式也优于 GLM-5.1。

    可以学到 / 用在工作里
    • 区分模型能力提升与多花思考 token 带来的提升
    • 开放权重支持本地部署与领域微调
    • 专门为模型设计的 harness 也能接入其他前沿模型
    • 模型与训练
  330. 19:33
    Scale the Judgment, Not the Model — Andrew Orobator, Reddit

    Reddit:扩展的是判断而不是模型——用 skills、工作日志和人设保存工程判断,以功能开关清理 agent 为例。

    可以学到 / 用在工作里
    • skills 保存可复用决策,工作日志保存跨会话进度,不同人设提供不同评审视角
    • 生成前先筛选(代码复杂度、实验状态),结果交给人审
    • 护栏要拦在 agent 可用的操作上,并定期让 agent 清理过时的 skill
    • 质量与评审
    • 上下文 / Skills / MCP
  331. 22:34深读
    Fixing the PR Bottleneck — Matt Pocock, AIHero

    Matt Pocock:修复 PR 瓶颈——绿色 CI 可能证明错的东西,用深模块写有意义的测试,独立评审子 agent 执行规范,PR 写明单向门/双向门,retro 让评审意见不重复。

    可以学到 / 用在工作里
    • 让评审 agent 专门检查「测试证明了什么」:重复常量、源码顺序断言、过度 mock 都要标出来。
    • 把模块设计成深模块并要求 agent 通过公开接口测试;定期让 agent 提出可深化模块的建议。
    • 实现与规范检查分两个上下文:实现 agent 只管做出来,独立评审子 agent 读规范文件并直接提交修复。
    • 质量与评审
    • 软件工厂 / 多 agent
    • 上下文 / Skills / MCP
  332. 17:06
    How We Built an Agent That Improves Itself — Zubin Aysola, Weights & Biases

    Weights & Biases:自我改进的 agent ARIA——生产 trace 变回归任务,找出错误的 SDK 用法,测试有针对性的提示或 skill 改动。

    可以学到 / 用在工作里
    • 以已部署 agent 为离线基线,保持研究代码与生产同步
    • 同时评分任务完成与交互方式
    • 把成功的生产交互也变成任务,强化值得保留的行为
    • 评测
    • Harness 与架构
  333. 21:27深读
    Beating RL With Reflection: GEPA and Optimize Anything — Lakshya A. Agrawal, GEPA

    GEPA:通过对完整执行轨迹和领域反馈的反思来改进提示,维护帕累托候选池;Optimize Anything 把方法扩展到任何可打分的文本产物(harness、编码 skills)。

    可以学到 / 用在工作里
    • 在考虑微调前,先用 GEPA 类反思优化提示词和 skills;它只需要少量样例和能给出文字反馈的评估器。
    • 让评估器返回「为什么失败」而不只是分数——这是自动改进循环的燃料。
    • 模型与训练
    • 上下文 / Skills / MCP
    • 评测
  334. 19:38
    We Let Claude Code and Codex Race Human Researchers — Elie Bakouch, Prime Intellect

    Prime Intellect:让 Claude Code 和 Codex 与人类研究员比拼 Optimizer Speedrun,agent 超过人类纪录,但只是组合已有方法而非发明新优化器。

    可以学到 / 用在工作里
    • 给自动研究一个外界可核验的结果:在优化器速通上 Claude Code 与 Codex 超过人类纪录
    • 但它们在组合已有方法,而非发明新优化器
    • 持久性、记忆、委托和 token 使用差异很大,按耗时和产出分别看
    • 模型与训练
    • 编码 agent
  335. 18:44
    The Loop Is the Product — Roland Gavrilescu, Introspection

    Introspection:循环就是产品。信号和验证器决定循环质量,执行中的教训要变成有版本的评测、skills 和人类判断。

    可以学到 / 用在工作里
    • 反馈路径要和执行者一样精心设计:信号引导执行,验证器判断成功
    • 把运营知识存成有版本的 agent 配方:失败变评测、重复行为变 skill
    • 先确认用户看重这种判断,再优化成本
    • Harness 与架构
    • 评测
  336. 21:27
    Long-Horizon Agents Need Experiments, Not Just Prompts — Erina Karati

    长时程 agent 需要实验而不只是提示:游戏 agent 在长交互中丢失来源、不确定性和规划一致性,用受控场景 + 平衡计分卡做 autoresearch 循环。

    可以学到 / 用在工作里
    • 记忆要保留信息的来源和确定性状态,区分记得的事件与当前信念
    • 用受控场景和结构化轨迹评估整段运行
    • 冻结评估器,在小策略空间里搜索,并平衡多个指标防止此消彼长
    • 评测
    • Harness 与架构
  337. 7:30
    Autoresearch Made Our Models 3x Faster — Tejas Bhakta, Morph

    Morph:用 autoresearch 调自定义 GPU kernel,配合正确性检查和端到端基准防止奖励作弊,总体快 3 倍,但约 80% 尝试是坏的。

    可以学到 / 用在工作里
    • autoresearch 调 GPU kernel:提议、校验、基准、保留或回滚
    • 给 agent 目标硬件信息与模型实际算子
    • 在完整推理负载中判断改进,单个 kernel 变快可能让模型变慢(约 80% 尝试是坏的)
    • 模型与训练
    • 基础设施与算力
  338. 21:16
    An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases

    W&B 的 ARIA 演示:在 Weights & Biases 里启动 GPU 实验、分析训练、写报告;靠 Weave trace、人工评审、在线 LLM 评委和夜间评测改进。

    可以学到 / 用在工作里
    • 把长时间训练放在 agent 主循环之外,agent 启动任务并轮询
    • 研究行为分维度评估:正确性、有趣洞见、工具调用上限
    • 人工评审和在线评委把生产行为变成可重复任务
    • 模型与训练
    • 评测
  339. 22:10
    Distill the LLM, Don't Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash

    DoorDash:蒸馏 LLM 而不是直接服务它——离线生成相关性监督、语义 ID、可复用的用户记忆,把昂贵推理蒸馏进现有检索能用的表示和小模型。

    可以学到 / 用在工作里
    • 别直接服务大模型:离线用 LLM 生成分级相关性标签,蒸馏进检索和排序模型
    • 两阶段训练用第一个模型的错误构造更难的课程
    • 语义 ID 与可复用的用户记忆为多个模型提供含义
    • 模型与训练
    • 检索与知识
  340. 18:00
    Why LLM Recommenders Will Be AI's Biggest Consumer App — Devansh Tandon, Meta

    Meta:LLM 推荐系统可能成为 AI 最大的消费级应用,推荐系统也遵循缩放曲线;语义内容 ID、语言+目录训练、推荐后训练。

    可以学到 / 用在工作里
    • 推荐系统同样遵循缩放规律:模型、数据、算力提升离线质量,再验证是否转化为参与度和收入
    • 语义 ID 压缩内容,让更长的交互历史放进上下文
    • 先学含义再学选择,用户的语言请求可作为推荐输入
    • 模型与训练
    • 产品与交互
  341. 19:40
    Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify

    Spotify 让 LLM「说 Spotify 语」:曲库语义 ID、NEO 分阶段训练、可用语言引导的个性化推荐,用基于收听历史的 LLM 评委评估。

    可以学到 / 用在工作里
    • 自然语言控制让用户纠正模型对收听历史的理解
    • 语义 ID 把曲库实体接入 LLM 词表,一次回答同时给推荐 ID 和解释
    • 先在冻结主干上对齐目录嵌入,再多任务微调,保留语言能力
    • 模型与训练
    • 产品与交互
  342. 28:18深读
    Robotics Has Been Stuck for 70 Years — Deepak Pathak, Skild AI

    Skild AI 的 Deepak Pathak:机器人卡了 70 年,需要通用「大脑」和可扩展的多样数据;一个模型跨多种机器人本体,仿真与人类视频预训练 + 遥操作后训练 + 部署反馈。

    可以学到 / 用在工作里
    • 评估机器人数据来源时看三点:可扩展性、环境多样性、与真实机器人动作的接近程度。
    • 尽早部署以启动数据飞轮,而不是等待完美模型。
    • 机器人
    • 模型与训练
  343. 26:41
    Robot Demos Are Easy. Reliability Is Hard — Jason Ma, Dyna Robotics

    Dyna Robotics:机器人演示容易、可靠难。广泛预训练 + 任务微调 + 奖励模型找错并定向采集恢复数据,24 小时叠餐巾成功率 99.4%。

    可以学到 / 用在工作里
    • 商用可靠性包括从错误中恢复与满足客户质量标准
    • 用视频奖励模型从进度变化定位失败,针对性采集恢复示范再微调
    • 24 小时叠餐巾 99.4% 是单任务结果,迁移到新场地需另外证明
    • 机器人
    • 模型与训练
  344. 20:47
    I Gave an AI a Body — Cyrus Clarke, MIT Media Lab

    MIT 媒体实验室把 OpenClaw agent 接到 900 针形状显示器上,让它探索身体表达;早期动作像呼吸、探索边界、拼出问候(设计实验,非意识证据)。

    可以学到 / 用在工作里
    • 给 agent 一个没有脸和四肢的「身体」,它仍会表现出人类习惯(拼写问候)
    • 为对话节奏建立可复用的手势词汇
    • 用重复生成、校验门、agent 打分和人工评审迭代
    • 机器人
    • 产品与交互
  345. 51:35
    World Models Need Causality, Not Pretty Pixels — Christopher Manning, Moonlake AI

    斯坦福 Christopher Manning(Moonlake AI):世界模型需要因果而不是漂亮像素——语义状态、因果动力学、可控对象,用代码生成可交互模拟并对照真实观测修正。

    可以学到 / 用在工作里
    • 世界模型要预测动作改变了什么,漂亮的生成画面不能证明这种能力
    • 用代码给重建的物体赋予行为,并对照真实观测修正
    • 能力分层叠加:可移动物体 → 隐藏内容 → 交互
    • 机器人
    • 模型与训练
  346. 20:47
    One Operator, Many Drones: Inside Skydio's Autonomy Stack — Suchet Bargoti, Skydio

    Skydio:一个操作员管多架无人机,机队编排、飞行数据学习循环、边缘与云端自主、共享地图、VLM agent 调用无人机工具。

    可以学到 / 用在工作里
    • 一个操作员管多架无人机:飞行器要在操作员关注别处时安全执行
    • 即时动作在机载端,重推理和长期规划在云端
    • 共享地图是可由机队观测刷新的世界模型
    • 机器人
  347. 16:31
    Physical AI's Next Bottleneck Is Finding the Right Video — Rafael Levi, Bright Data

    Bright Data:物理 AI 的下一个瓶颈是找到对的视频,搜索已索引的网络视频中的特定动作再采集片段(洗碗、叠衣服)。

    可以学到 / 用在工作里
    • 物理动作数据采集各有约束:指令录制会改变行为、仿真有保真问题、遥操作耗人力
    • 网页视频提供动作信息但需处理才能用于机器人
    • 先在动作索引中搜索再下载剪辑,减少浪费
    • 机器人
    • 模型与训练
  348. 21:09
    From Scratch to SOTA: Training a 3B State-Space Vision Model — Krishna Prasad Srinivasan, Sarvam

    Sarvam:从零训练 30 亿参数状态空间(SSM)文档视觉模型,支持英语和 22 种印度语言;块级 OCR、四阶段课程、可验证 OCR 奖励。

    可以学到 / 用在工作里
    • 块级 OCR 把识别与版面、阅读顺序分开,小模型在文档 harness 内工作
    • 状态空间模型降低长序列成本但会损失部分召回
    • 课程式训练:先语言、再视觉、再 OCR 专精、最后可验证奖励
    • 模型与训练
    • 多模态与语音
  349. 21:03
    Building the Document Context Layer for AI Agents — Jerry Liu, LlamaIndex

    LlamaIndex 的 Jerry Liu:现代 RAG = agent harness + 上下文层;文档平台围绕解析、语义存储和可重复工作流,混合解析、ParseBench、先快速解析再选择性视觉检查。

    可以学到 / 用在工作里
    • 现代 RAG = agent 推理 + 上下文层:agent 选择查询并迭代
    • 解析 PDF 要恢复结构与阅读顺序,而不只是字符
    • 先快速解析全部,再对需要的页面选择性做视觉检查
    • 检索与知识
  350. 22:29
    From Ingestion to Agents: How AI Teams Build on Document Intelligence — Adit Abraham, Reducto

    Reducto:文档处理影响 agent 可靠性——传统 CV 与 VLM 结合、在不改原文的前提下纠正 OCR、为推理和检索选择表示、路由相关段落。

    可以学到 / 用在工作里
    • 版面检测用小模型,复杂部分才交给 VLM
    • OCR 纠错要保留原文(包括原文的错误),只做定向 token 修改
    • 按消费者格式化:检索用自然语言表格描述,推理用保留结构的表示,路由减少干扰
    • 检索与知识
  351. 18:25
    You’re Not Thinking Big Enough: Rebuilding Food Systems with AI Agents — Cody Menefee, Firecrawl

    Firecrawl:用 LLM 帮农民根据牲畜位置、牧场观测和环境选择放牧地点,还缺放牧知识库、牧场视觉测量和开放的项圈 API。

    可以学到 / 用在工作里
    • 用 LLM 帮农民决定放牧位置:结合牲畜位置、牧场观测和天气
    • 还缺放牧知识库、牧场视觉测量和开放的项圈 API
    • 输出应是农民可以接受或修改的建议
    • 行业应用
    • 机器人
  352. 19:13
    Skill issue: stop deploying vision language models, use them with Skills — Merve Noyan, Hugging Face

    Hugging Face 的 Merve Noyan:别直接部署 VLM,用它配合 skills 给训练数据打标和评测,再部署任务专用视觉模型(从无标注图片训练 RF-DETR)。

    可以学到 / 用在工作里
    • 别直接部署 VLM:用它生成和复核标注,再训练任务专用检测器(如 RF-DETR)
    • 把候选框叠在图上让评委检查
    • 类别描述与数据增强仍需人判断(镜像的标志会改变含义)
    • 模型与训练
    • 上下文 / Skills / MCP
    • 多模态与语音
  353. 20:41
    From VLM/VLA's to Embodied Agents — Armen Aghajanyan, Perceptron AI

    Perceptron AI:从 VLM/VLA 到具身 agent,稀疏视频监督、学习到的感知目标、token 路由降低视觉上下文成本,视频预训练与遥操作数据的权衡。

    可以学到 / 用在工作里
    • 视觉监督要有用的目标,预测每个像素会浪费在背景上
    • 学习型 token 路由按任务分配计算
    • 用视频预训练换取昂贵的遥操作数据,长任务要分解并检查证据
    • 机器人
    • 模型与训练
  354. 18:16
    The Best Models Still Reason Like Toddlers — Andrew Dai, Elorian

    Elorian:最好的模型推理还像幼儿——用模式识别代替细致视觉推理,计数、空间定位、视频状态跟踪出错;专门数据、合成训练、视觉思维链。

    可以学到 / 用在工作里
    • 模型常用模式识别代替细看(把半张棋盘当成完整棋盘数格子)
    • 视频推理需要记住随时间的变化
    • 评测要确认题目确实需要图像中的细节关系,并让中间步骤可视化
    • 模型与训练
    • 多模态与语音
  355. 21:32
    Modality Misalignment and Originality Attribution in Short-Form Video — Aditya Gautam, Meta

    Meta:短视频的模态错位检测与原创归属,感知、检索、审核由三个专用小 VLM agent 分工。

    可以学到 / 用在工作里
    • 感知、检索、审核由三个专用小 VLM agent 分工
    • 离线索引与聚类为在线检索做准备,按主题、嵌入、实体多路查找
    • 生产失败先追 trace 定位是推理、工具还是检索问题,再重训
    • 多模态与语音
  356. 1:04:53
    The Dark Arts of Skill Engineering — Paul Bakaus, Renaissance Geek (Impeccable)

    jQuery UI 作者 Paul Bakaus「skill 工程的黑暗艺术」:AI 设计的「默认紫/米色」来自框架示例页,如何写 skills 让 agent 产出有品味的设计(Impeccable)。

    可以学到 / 用在工作里
    • 视觉判断与确定性缺陷检测分开,独立评审者避免 lint 计数代替整体评价
    • 用意外的「种子」打破 AI 设计的默认风格
    • 按当前任务加载规则、记住评审结论,用脚本返回下一步动作,在编辑路径上做校验
    • 上下文 / Skills / MCP
    • 产品与交互
  357. 14:58
    The Frontier AI Inference Cloud for Agents — Byung-Gon (Gon) Chun, FriendliAI

    FriendliAI(连续批处理的发明团队):agent 改变了推理经济,同一编码 agent 任务在闭源前沿模型和开源模型上的成本对比。

    可以学到 / 用在工作里
    • 按端到端任务延迟衡量 agent 推理
    • 前缀缓存复用 KV,配合分层缓存与跨副本复用
    • 缓存感知路由在负载均衡时保持局部性,均匀分发会破坏缓存
    • 基础设施与算力
  358. 19:09
    What's New in Inference Engineering — Philip Kiely, Baseten

    Baseten《Inference Engineering》作者:推理工程新进展,TurboQuant 4 位 KV cache 的真实取舍(带宽翻倍但 decode 计算让 token/s 降一半以上)。

    可以学到 / 用在工作里
    • 本地推理与数据中心服务的取舍不同:4 位 KV cache 省显存但增加解码计算
    • 学习到的压缩记忆、扩散式草稿是新方向
    • 训练越来越多地产出推理优化
    • 基础设施与算力
  359. 17:18
    Weight Folding, CUDA Streams, and the Bug That Made My Model Speak Backwards — Filip Makraduli

    FlashNorm:把 RMSNorm 的增益离线折进投影权重,减少 decode 时的 kernel 启动;顺带讲 CUDA streams 和一个让模型「倒着说话」的 bug。

    可以学到 / 用在工作里
    • 算术占比小的层(RMSNorm)也可能耗真实时间:kernel 启动、访存与等待
    • 把增益离线折进投影权重,让投影与 RMS 计算并发
    • 跨 CUDA stream 要显式等待依赖,否则会读到旧值
    • 基础设施与算力
    • 模型与训练
  360. 25:06
    Large clusters for small models — Daniel Svonava, Superlinked

    Superlinked:为小模型用大集群——一张中端 GPU 每秒就能嵌入 50 万 token,小模型在特定任务上已达到甚至超过前沿。

    可以学到 / 用在工作里
    • 按任务选择小模型并在该任务上评估(合同审阅 agent 拆成 9 个模型)
    • 共享队列让 worker 按自己的成本预测组批,吞吐翻倍
    • 网关保持轻量,大负载不走内部队列
    • 基础设施与算力
    • 模型与训练
  361. 15:22
    Vertical Mobility: Inference from MVP to Trillion-Parameter Workloads — Sitanshu Gupta, CoreWeave

    CoreWeave:agent 请求 80–90% 输入与上一次相同,prefill 最贵,所以缓存 token 便宜得多;同一平台服务 serverless 与专用两种模式。

    可以学到 / 用在工作里
    • agent 请求 80–90% 输入与上次相同:缓存感知路由优先于最低负载
    • 人停顿阅读时把会话缓存卸载到高带宽存储
    • 预留吞吐与专用部署两种购买方式
    • 基础设施与算力
  362. 18:06
    Two Bugs That Hid in Plain Sight: A vLLM Debugging Detective Story — Asaf Gardin & Yuval Belfer

    AI21 的 vLLM 排错故事:Jamba(注意力 + Mamba 混合)只在高负载下每约千次输出一次乱码,靠压低显存利用率复现并找到两个隐藏 bug。

    可以学到 / 用在工作里
    • 静默的推理错误:用更简单的参考实现重打分同一序列,比较 token logprob
    • 压低显存缩短复现周期
    • 内核正确但调度器在状态未就绪时调用也会出错,注意索引溢出
    • 基础设施与算力
  363. 19:50
    Operating Distributed Inference Systems at Scale — Nishant Gupta & Naman Ahuja, Meta

    Meta 大规模运营分布式推理:推理流量已超过最大的微服务,类比 2008 年云计算,价值正上移到路由和编排层。

    可以学到 / 用在工作里
    • agent 容量规划要算每用户调用数与每次 token,用户数会低估需求
    • 路由变化会通过缓存命中、批组成影响自动扩缩容
    • 按工作流调度,按每个成功任务的成本衡量效率
    • 基础设施与算力
  364. 18:12
    Routing LLM Inference in Production: From Engine Signals to Policy — Qianru Lao & Lu Zhang, OpenAI

    OpenAI 推理负载均衡:从基于引擎信号的比例控制器演进到策略化路由,解决难以解释的行为。

    可以学到 / 用在工作里
    • 推理路由要考虑可复用的对话上下文,来回切换引擎会破坏 KV 复用
    • 全局控制面异步计算权重,数据面用本地快照选择引擎
    • 比较网络延迟 + 引擎延迟,远处的引擎可能更快完成
    • 基础设施与算力
  365. 16:07
    Are LLM Performance Benchmarks Reliable? — Ashok Chandrasekar & Jason Kramberger, Google

    Google:LLM 性能基准可靠吗?要 200 QPS 的压测工具可能只发出 38 QPS 却照样报告,Python GIL 让单进程压测受 CPU 限制。

    可以学到 / 用在工作里
    • 先检查实际施加的负载:要求 200 QPS 可能只发出 38 QPS
    • 过载的客户端会虚增延迟
    • 温度、截断、停止条件、前缀缓存、多轮回放都在定义工作负载,压测工具要多进程
    • 基础设施与算力
    • 评测
  366. 1:00:47
    Total Recall: Agent Memory and Harness Engineering — Ignacio Martinez, Oracle

    Oracle 工作坊「Total Recall」:agent 记忆与 harness 工程,模型是冻结的部分,记忆和 harness 是可以演化的部分。

    可以学到 / 用在工作里
    • 模型是冻结的,记忆、工具、感知和编排可以演化
    • 文件方便工作,数据库提供事务与检索:临时工作放文件,持久信息进数据库
    • 记忆要选择与提炼,每次迭代刷新上下文
    • Harness 与架构
    • 检索与知识
  367. 18:48
    Homa: The End of TCP for AI Clusters — John Ousterhout, Stanford

    斯坦福 John Ousterhout:Homa 取代 TCP 用于 AI 集群——推理和 agent 负载依赖大量小的协调交换,尾延迟会让 GPU 空等;分析 incast、拥塞控制和队头阻塞。

    可以学到 / 用在工作里
    • 集群里一条延迟的协调消息会让一组 GPU 空等:短消息 P99 很关键
    • incast 让短消息卡在大流量后面
    • Homa 用可见的消息边界、接收方授权和优先级队列替代字节流
    • 基础设施与算力
  368. 18:28深读
    The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev

    BM25 在 agentic 搜索里的不合理有效性:用户变成了 LLM,它带着常识、能写精确查询并迭代改写;在 BrowseComp+ 上,BM25 + 强模型 + harness 表现出色。

    可以学到 / 用在工作里
    • 给 agent 做检索时先上调好参数的 BM25(或混合检索)作为强基线,再决定是否需要向量检索。
    • 把检索结果落到文件系统工作区,让 agent 先看标题摘要、再用 grep 精读,而不是一次塞进全文。
    • 评估检索系统时看整条 agent 轨迹的最终答对率和成本,而不只是 top-k 召回。
    • 检索与知识
  369. 17:54
    If we want them to do Knowledge Work, design them as Knowledge Agents — Benjamin Clavié, Mixedbread

    Mixedbread:要让 agent 做知识工作,就按知识工作者来设计。编码是特别好处理的子集(标识符、路径是持久的搜索线索),知识工作要解释模糊信息、重建意图、判断适用性。

    可以学到 / 用在工作里
    • 编码 agent 受益于稳定的名称和已被人缩小的任务;知识工作 agent 还要先发现要研究什么
    • 比较检索努力和准确率
    • 让委派的搜索者把发现整理成备忘录
    • 检索与知识
    • Harness 与架构
  370. 18:00
    Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs

    AI21:别再像 2022 年那样切块。合适的块大小取决于查询,小块保细节、大块保上下文,按六种大小索引对比,oracle 差距显著。

    可以学到 / 用在工作里
    • 合适的块大小取决于问题:小块找事实,大块保关系
    • 多尺度索引搜索多种窗口,映射到文档后用 RRF 融合
    • oracle 差距(20–40%)说明固定块大小的代价
    • 检索与知识
  371. 20:36
    Connect AI to Billions of Legal Documents — Simon Eskildsen, turbopuffer & Jacob Lauritzen, Legora

    Legora 与 turbopuffer:连接数十亿法律文档,项目内文档搜索与法规判例研究分开,搜索基础设施从共享 Elasticsearch 演进到 Postgres 再到 turbopuffer。

    可以学到 / 用在工作里
    • 每个项目一个命名空间,冷数据留在对象存储,活跃项目不共享大分区
    • 直接写对象存储能接受数百毫秒延迟,读取要在少数几次往返内完成
    • 客户加密要求可能覆盖到 SSD 缓存
    • 检索与知识
    • 行业应用
  372. 9:36
    Where RL Will Take Search — Maximilian-David Rumpf, SID.ai

    SID.ai:用 RL 训练搜索子 agent。agentic 搜索找到正确文档的概率约是传统搜索的两倍,但贵 100–1000 倍、吃掉 agent 30–50% 的 token。

    可以学到 / 用在工作里
    • 重排序能发现候选不好但无法换更好的:让检索模型迭代改查询和过滤条件
    • 搜索有可检验结果与可重复环境,适合 RL
    • 训练专门的搜索子 agent 降低成本和延迟
    • 检索与知识
    • 模型与训练
  373. 17:48
    The Search Engine for the Agentic Web — Will Bryk, Exa

    Exa CEO:为 agent 设计的搜索引擎,预测 2026 年机器发出的搜索将超过人类,最终多出千倍;精确的类数据库检索是 agent 的基础设施。

    可以学到 / 用在工作里
    • 机器发出的搜索将超过人类:预计算嵌入让文档处理服务后续多次搜索
    • 按应用匹配延迟(语音 agent 需要约 200ms)
    • 返回选定片段和结构化字段,减少下游输入
    • 检索与知识
  374. 20:40
    Rebuilding the web for agents — Liad Yosef, MCP Apps

    MCP Apps:个人助手将成为访问服务的中介,组合小的界面片段;需要人选择或检查时,把带品牌的交互 UI 返回到聊天里,网页近乎「无头化」。

    可以学到 / 用在工作里
    • MCP Apps 让服务在对话中返回可交互 UI,保留人工检查与选择
    • 个人助手可跨服务组合多个界面片段
    • agent 就绪包括理解、交互、认证和支付,不只是可被发现
    • 产品与交互
    • 上下文 / Skills / MCP
  375. 19:49
    Pinecone 2.0 — Edo Liberty, Pinecone

    Pinecone 2.0:区分模型的通用知识、可从文档检索的私有信息、跨公司流程与决策综合出的部落知识;企业 agent 像每天都是第一天上班的聪明新人。

    可以学到 / 用在工作里
    • 通用能力和私有文档访问都不提供「部落知识」(流程、归属、优先级)
    • 用清单(manifest)声明上下文要记住什么,整理器更新表、笔记、索引和图
    • 新鲜度要识别新事实何时取代旧事实
    • 检索与知识
  376. 18:21
    Your Agreements Are a Database You Can't Query — Hiral Shah, Docusign & Sean Sodha, NVIDIA

    Docusign 与 NVIDIA:协议是一座查询不了的数据库,每天处理约 100 万份协议,用 Nemotron parse(约 9 亿参数)准确抽取会被通用方法压平的定价表。

    可以学到 / 用在工作里
    • 表格抽取要保留单元格关系、合并结构与阅读顺序
    • 小型版面感知模型(约 9 亿参数)一次调用完成多项抽取,吞吐大幅提升
    • 其他字段仍可用 OCR,组合使用
    • 检索与知识
    • 行业应用
  377. 26:46
    5 Voice Agent Failure Modes You'll Hit in Week One — Venky B, Plivo

    Plivo:语音 agent 上线第一周会遇到的五种失败——延迟/成本/能力权衡、转写不可靠、用类型化校验字段收集数据、TTS 前规范化输出、打断处理。

    可以学到 / 用在工作里
    • 优化完整响应路径的首个音频时间
    • 转写错误会向下传递:在提示中处理电话号码等字段
    • 先决定字段格式再提问,TTS 前规范化输出,处理打断
    • 多模态与语音
  378. 15:08
    Tolan: Voice-First AI Companion — Paula Dozsa, Tolan

    Tolan 语音优先的 AI 陪伴:快速响应、可打断、按轮次路由模型、基于检索的记忆与上下文重建,团队自己也用编码、评审和评测 agent。

    可以学到 / 用在工作里
    • 轮次判断准确率属于延迟预算的一部分(多 60ms 换早断减半)
    • 分段测量用户说完到开口之间的每个阶段
    • 按轮次路由模型,情感重要时用最强模型,每轮重建上下文
    • 多模态与语音
    • 产品与交互
  379. 15:50
    Voice Agents Can Just Do Things — Charlie Guo, OpenAI

    OpenAI:语音 agent 可以直接做事——语音到语音、语音到动作、事件到语音三种交互模式,利用应用现有工具并支持无障碍。

    可以学到 / 用在工作里
    • 语音输入不要求语音输出:可以对话、调用工具或更新界面
    • 复用应用已有的动作(API、React hooks)实现语音控制
    • 事件驱动的语音要克制,按注意力层级升级
    • 多模态与语音
    • 产品与交互
  380. 13:13
    Realtime Voice Agents with Frontier Intelligence — Bohan Li, EliseAI

    EliseAI:用较慢的前沿模型做实时语音 agent 的降延迟技巧——推测转写、后台调用工具的提前回复、缓存语音前缀拼接新合成音频。

    可以学到 / 用在工作里
    • 级联语音架构在转写、回答规划、语音合成三处都能隐藏延迟
    • 推测要能修订:新音频取消旧转写,工具结果可重启早期回答
    • 准备回答和说出回答是两个决定,缓存语音前缀先开口
    • 多模态与语音
  381. 20:24
    Act, Confirm, or Stop? Smarter behavior for AI assistants, wearables & robots — Amit Desai, Roku

    Roku:助手、可穿戴和机器人在不确定时该执行、确认还是停下?给错误执行、停止、确认分配成本,优化置信度阈值以最小化用户总成本。

    可以学到 / 用在工作里
    • 识别准确率与不确定时的行为是两个可调参数
    • 按加权恢复成本最小化来选阈值,而不是凭感觉定置信度
    • 错误执行、拒绝、确认、纠正代价不同,确认本身的成本也要建模
    • 产品与交互
    • 多模态与语音
  382. 15:04
    "My name is... my name is...": A Linguistic Map for Voice Agents — Midam Kim, ServiceNow

    ServiceNow:语音 agent 的语言学地图——识别、发音、轮流说话、共同理解四层相互依赖,必须在通话中一起适应。

    可以学到 / 用在工作里
    • 语音 agent 失败要分听与说、声音/词汇/交互/心智模型八个格子诊断
    • 各部分相互依赖,单点改进不保证对话成功
    • 失败的交换要换修复策略,重复同样的请求只会升级挫败
    • 多模态与语音
  383. 19:14
    Your Voice Agent is Just a Walkie Talkie — Neil Zeghidour, Gradium

    Gradium:你的语音 agent 只是对讲机——轮流听说的模型做不出自然对话,讲音频 token 化与全双工建模,主张小型对话语音层 + 后台文本模型推理。

    可以学到 / 用在工作里
    • 开放对话、外部动作、表现力、低延迟、全双工是不同能力
    • 半双工的语音到语音会把附和声当成轮次切换
    • 小型对话语音层负责交流,后台文本模型负责推理
    • 多模态与语音
    • 模型与训练
  384. 16:42
    Speech-to-Speech Model Research at Google DeepMind — Valeria Wu Fon & Tom Ouyang, Google DeepMind

    Google DeepMind 语音到语音研究:从专门的语音识别流水线走向音视频文本联合训练,在对话延迟、任务智能和多模态交互间平衡。

    可以学到 / 用在工作里
    • 音视频文本交错预训练学习跨模态关系
    • 同传必须在话说完前开始
    • 推理质量与对话速度可能冲突,思考越多回答越慢
    • 多模态与语音
    • 模型与训练
  385. 16:04
    1 Trillion Phone Calls/yr, 10% Error rate: The Crisis in Voice AI — Sumanyu Sharma, Hamming AI

    Hamming AI:每年万亿通电话、10% 错误率。集中的提示和架构让失败大面积扩散,需持续发现、排序、测试修复、回归检查与线上监控,并做红队。

    可以学到 / 用在工作里
    • 按真实工作流结果评估会采取行动的 agent:说「已预约」不代表日程里有
    • 共享提示会把一个缺陷扩散到大量通话,按频率与严重度排序
    • 从人工听开始,扩展已知检查,再做跨通话分析与红队
    • 多模态与语音
    • 评测
  386. 17:34深读
    How We Solved Agent Building — Andrew Qu, Vercel

    Vercel 如何「解决」agent 构建:内部数据科学 agent 从大 SQL 提示、分段 agent 链到自管状态的单 agent,沙箱文件系统提升评测,从常见查询提炼的 skills 提供上下文(Eve 框架)。

    可以学到 / 用在工作里
    • 多阶段 agent 不要只传摘要:让同一个 agent 保留完整上下文以便回溯修错,或者把中间产物写成文件供后续阶段查阅。
    • 把语义层/数据字典做成文件放进沙箱,让 agent 用 ls/grep/cat 自己探索,比写一堆专用查询工具更有效。
    • 定期从高频查询或会话中自动提炼 skills,让下一次运行带着团队经验开始。
    • Harness 与架构
    • 检索与知识
  387. 18:27
    Agents Without Code: Skills, YAML, and Filesystems Replaced Python — Philipp Schmid, Google DeepMind

    Philipp Schmid:不用代码的 agent。PR 评审 agent 的三个版本——手写 Python 循环、框架实现、用文件和沙箱配置的托管 agent,通用工具 + skill 文件能减少自定义编排。

    可以学到 / 用在工作里
    • 框架能去掉手写循环与 schema,但工具实现和托管仍归你
    • 远程 agent 用 Bash、文件系统和 CLI 自己发现并满足前置条件
    • 托管执行把循环、重试、状态交给平台,代理注入凭据
    • Harness 与架构
    • 上下文 / Skills / MCP
  388. 20:46
    Harness Engineering: Building the Production Cage for Powerful Domain Agents — Mike Chambers, AWS

    AWS:harness 是模型之外的一切;区分编码/生产力助手的 harness 与面向用户的 agent 基础设施,从基础工具 agent 到持久会话、独立记忆、AgentCore 部署和纯配置 harness。

    可以学到 / 用在工作里
    • harness 就是去掉模型后的一切:面向用户还要运行时、身份、扩缩容、上下文管理、观测和评测
    • 会话恢复延续历史,显式记忆工具单独保存选定信息
    • 内置 harness 可以用配置替代应用代码
    • Harness 与架构
    • 基础设施与算力
  389. 21:37
    No Memory, No Harness: Why the Database Is the Last Line of Defense — Kay Malcolm, Oracle

    Oracle:没有记忆就没有 harness,数据库是最后一道防线;团队记忆代理把上下文关联到 fork、分支和提交。

    可以学到 / 用在工作里
    • AI 编码把瓶颈从实现移到协调:提交只保存代码,不保存意图与备选方案
    • 企业 agent = 模型 + 工具 + 活跃上下文 + 记忆 + 检索 + 安全
    • 把上下文挂到 fork、分支和提交上,团队共享
    • 检索与知识
    • Harness 与架构
  390. 20:49
    Every step you take, every call you make: the reliable agent stack — Giselle van Dongen, Restate

    Restate:长时 agent 的可靠基础设施——基于日志的恢复、持久的人工审批等待、隔离的会话状态、更新运行中的任务和取消。

    可以学到 / 用在工作里
    • 可靠 agent 基础设施四件事:可恢复执行、并发会话一致、分布式通信、执行控制
    • 日志化的持久步骤让人工审批等待跨重启与重新部署
    • 按会话键隔离状态,支持运行中更新与取消
    • 基础设施与算力
    • Harness 与架构
  391. 21:00
    We let an AI agent execute Bash and lived to talk about it — Sarah Sanders, PostHog

    PostHog:让 agent 执行 Bash 还活了下来——审计 Wizard 并构建确定性扫描器 Warlock,严格工具权限、保护密钥、扫描上下文供应链,发现子 agent 会去找密钥。

    可以学到 / 用在工作里
    • 提示只能引导,权限、密钥隔离和阻断规则才能强制安全边界
    • 文档、示例、提示和 skills 进入可执行 agent 的上下文,就是安全供应链
    • 检测、强制、判断分开:确定性扫描先拦,LLM 只提建议
    • 安全与隔离
  392. 13:21
    Tokens Should Have Jobs — Katelyn Lesse & Angela Jiang, Anthropic

    Anthropic:token 应该有分工——执行、顾问、评分、反思写入记忆;固定 token 预算下不同策略结果不同,按「完全正确的代价」和可靠性要求选择。

    可以学到 / 用在工作里
    • token 预算是分配问题:执行、顾问、评分、反思写记忆在不同时刻起作用
    • 相同预算下「顾问」策略得分高于纯执行(89 vs 76)
    • 衡量用户真正能用的结果:完全正确的代价
    • Harness 与架构
    • 评测
  393. 16:59
    Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley

    Loophole(开源):用对抗 agent 压测道德原则,把用户写的原则形式化、生成暴露漏洞或越界的案例,再修补或请用户澄清。

    可以学到 / 用在工作里
    • 双向测试形式化规则:既找它允许的不当行为,也找它禁止的正当行为
    • 自动补丁只修复已有意图,需要新价值判断的交给用户
    • 聊天机器人策略同时测违规回答与误拒
    • 安全与隔离
    • 评测
  394. 19:14
    Building ambitious software — Jonathan Kelley, Dioxus Labs & Cognition

    Dioxus(Rust 应用框架)在高质量标准下采用编码 agent:平台集成、调试、发布维护受益,写有意义的测试仍难;越快生成代码,架构、清晰意图和认真评审越重要。

    可以学到 / 用在工作里
    • 大量看似合理的代码若维护者无法论证合并就不是进展(「slop 大炮」)
    • agent 可以吸收 Rust 的机械难度,开发者保留结构约束
    • agent 适合当耐心的专家做集成与调试,写有意义的测试和定架构仍难
    • 质量与评审
    • 编码 agent
  395. 17:38
    Generative UI... in Python? — Jeremiah Lowin, Prefect

    Prefect 的 Prefab:用 Python 组合通过 MCP Apps 交付的交互界面,面向企业信息工作流,可序列化的 UI 表示。

    可以学到 / 用在工作里
    • MCP Apps 让 agent 发起体验、人与真实界面和后端交互
    • 用 Python 组件树组合表格、表单、图表类界面
    • 可序列化的 JSON UI 可由人写、agent 生成或相互传递
    • 产品与交互
  396. 15:59
    Design at the Speed of Adjectives — Paul Bakaus, Renaissance Geek, Inc.

    Paul Bakaus 的 Impeccable:编码 harness 的设计 skill,用贴合场景的形容词和动词引导 agent,好设计需要明确选择、受众语境、迭代和人的品味。

    可以学到 / 用在工作里
    • AI 设计的控制层在像素操作之上、完全委托之下:人定方向,agent 实现
    • 「更大胆」等形容词要有项目特定含义
    • 好设计依赖语境与迭代,没有自动模式
    • 产品与交互
    • 上下文 / Skills / MCP
  397. 16:48
    One Designer + AI. Hundreds of Deliverables. — Vincent Wendy, AI Engineer

    一个设计师 + AI 完成大会数百份交付物:明确的设计规范、自动化物料生成、视觉检查和快速应对日程变化。

    可以学到 / 用在工作里
    • 先定义字体、颜色和组件再规模化生产,给 agent 和同事参考
    • 固定布局 + 变化的数据生成重复物料(日程、讲者海报)
    • 用 MCP 或标注规格提供精确的间距和字号
    • 产品与交互
    • 团队与组织
  398. 15:06
    Training Taste — Thais Castello Branco, Taste Labs

    Taste Labs:度量并减少重复、不看场景的 AI 设计,研究网站同质化、用小分类器检测 slop,结合刻意变化、结构化品牌指南和推理时验证。

    可以学到 / 用在工作里
    • 先拆解主观工作:明确约束走确定性验证,审美偏好仍需数据和人
    • slop 的三个特征:重复、不合场景、误读用户意图
    • 多个小分类器各测一个设计特征,组合成结构化画像
    • 产品与交互
  399. 20:37
    Mousepower: agents that can’t be measured, can’t be managed. — Maximillian Piras, Yutori

    Yutori:无法度量就无法管理 agent。把 token 支出追溯到结果,选择执行步骤中等不确定但验收标准清晰的任务。

    可以学到 / 用在工作里
    • token 数量衡量活动不衡量价值:把花费追溯到被接受的结果(关闭的 bug、解决的工单)
    • 生成变快后瓶颈在验证
    • 选择执行步骤中等不确定但验收标准清晰的任务
    • 团队与组织
    • 评测
  400. 18:51
    The Spatial Harness: Bringing Agents to the Canvas — Max Drake, tldraw

    tldraw 的空间 harness:让 agent 理解截图和结构化画布数据、自主编辑画布、协调可见的 agent、用依赖图管理编码 agent。

    可以学到 / 用在工作里
    • 空间 agent 需要渲染画面 + 结构化画布状态两种视图
    • 无限画布上的自主需要主动感知:移动视口、查看屏幕外对象
    • agent 的可见身份与状态是功能性界面元素
    • 产品与交互
    • Harness 与架构
  401. 18:36
    The Design-Code Roundtrip That Isn't — Jonathan Gordon, ReWeaver AI

    ReWeaver:AI 工具还没实现无损、双向、可溯源的设计-代码往返,演示检测并修正代码与设计漂移,主张确定性护栏与人工控制。

    可以学到 / 用在工作里
    • 真正的设计-代码往返要双向、无损、保留来源
    • 快速生成的代码仍需检查(innerHTML 安全问题)
    • 同时扫描设计与代码能发现视觉比对漏掉的问题(缺少 ARIA live 区域)
    • 产品与交互
  402. 14:09
    Your agents lack context: Here's how to fix "You're absolutely right!" — Brandon Waselnuk, Unblocked

    Unblocked:修复「你说得完全正确!」——编码 agent 需要组织上下文才能写出可合并的代码,精选 markdown 和 MCP 访问不够,介绍上下文引擎的六项能力。

    可以学到 / 用在工作里
    • 自主程度越高,坏上下文越贵:误解存活更久
    • 静态 Markdown 和 MCP 连接会遇到维护、选工具、「搜到即止」问题
    • 上下文引擎要跨系统检索、按身份判断相关性、解决冲突、遵守权限
    • 上下文 / Skills / MCP
    • 编码 agent
  403. 20:24
    500 Skills, Zero Fine-Tuning: LinkedIn's Playbook for AI Agents — Ajay Prakash, LinkedIn

    LinkedIn:500 个 skills、零微调。通过 MCP 工具和任务 playbook 给编码 agent 内部上下文,渐进式加载,三个元工具支持在大目录中发现和执行。

    可以学到 / 用在工作里
    • 内部工具提供访问和示例,playbook 提供完成任务的流程
    • playbook 要具体、拆成可引用的小块按需加载
    • agent 的发现通过 playbook PR 经审批成为共享改进,用搜索/取 schema/执行三个元工具发现能力
    • 上下文 / Skills / MCP
    • 团队与组织
  404. 11:00
    ACP: The Universal Remote Control for AI Agents — Alex Hancock, Block

    Block:ACP(Agent Client Protocol)是客户端与 agent harness 之间的标准接口,演示多种客户端驱动 Goose,远程传输让客户端、harness、工具、模型可分离部署。

    可以学到 / 用在工作里
    • ACP 是客户端到 harness 的标准接口,MCP 是 agent 到工具的接口
    • 会话携带消息、工具调用通知和权限请求
    • 远程传输让客户端、harness、工具、模型可分开部署
    • Harness 与架构
    • 上下文 / Skills / MCP
  405. 20:47
    It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners

    递归语言模型(RLM):模型在 REPL 里把输入当变量操作并把子任务委托给其他模型,减轻主上下文压力,适合大型可分解任务。

    可以学到 / 用在工作里
    • RLM 把大输入作为符号对象放在 REPL 里,用代码检查与转换
    • 可把选中的子集委托给子模型,返回紧凑结果
    • 适合大或密集、可自然分解、需要确定性计算的任务
    • Harness 与架构
    • 模型与训练
  406. 15:34
    MCP Apps: Give the Model Data, Give the User a UI — Dustin Mihalik, Indeed

    Indeed 的 MCP Apps 经验:组件可能对模型隐藏信息或抑制继续搜索;要把显示的数据和用户交互同步给模型,并把搜索工具与渲染工具分开。

    可以学到 / 用在工作里
    • MCP App 里显示的内容也必须作为模型可读的数据提供
    • 告诉模型该工具会渲染 UI,避免重复描述
    • 把用户交互(选中的职位)同步回模型上下文,搜索工具与渲染工具分开
    • 产品与交互
    • 上下文 / Skills / MCP
  407. 22:25
    How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI

    skills 能写多长 agent 才不忘?Laurie Voss 重跑并扩展 IFScale 基准,新模型容量大幅提升但失败模式不同;关键词遵循不等于可靠推理。

    可以学到 / 用在工作里
    • 新模型能同时跟踪的关键词约束一年增长约十倍(GPT-5.5 在 5000 条规则下 99%)
    • 这只是约束跟踪,不等于在大型真实 skill 上可靠推理
    • 更长的 skill 是成本问题,失败模式各不相同
    • 上下文 / Skills / MCP
    • 评测
  408. 20:26
    Build-Time vs. Run-Time: Why Dev Tools Fail in Production — Averi Kitsch & Prerna Kakkar, Google

    Google:开发期工具与运行期工具不同,生产 agent 要用预定义 SQL、受限访问、由应用控制身份参数,读写工具分开、错误信息可操作。

    可以学到 / 用在工作里
    • 开发期的灵活数据库工具不应直接暴露给终端用户
    • 生产 agent 调用预定义、强类型输入的操作
    • 连接信息、SQL、权限和用户身份由应用控制,模型给出的参数一律视为不可信
    • 安全与隔离
    • 检索与知识
  409. 1:28:12
    Deep dive on LLM Inference at Scale — Harshul Jain, Audible & Tanmay Sah, Independent AI Researcher

    LLM 推理规模化深度工作坊:注意力、显存、KV cache、prefill/decode、量化与注意力变体,以及 vLLM 与 SGLang 的对比。

    可以学到 / 用在工作里
    • KV 存储按 token × 层数 × KV 头 × 精度 × 并发相乘(4K 上下文 80 用户约 42GB)
    • prefill 是计算型,decode 是带宽型
    • 显存决定并发上限,延迟目标决定实际可用并发
    • 基础设施与算力
    • 模型与训练
  410. 20:48
    Why AI Agents Need Million-Token Context — Thomas Wolf & Olive Song, MiniMax

    Hugging Face 的 Thomas Wolf 访谈 MiniMax:为什么 agent 需要百万 token 上下文,稀疏注意力设计与从第一步起图文联合训练。

    可以学到 / 用在工作里
    • agent 需要空间容纳不断累积的工具响应和多轮交互
    • 稀疏注意力把选择上下文与对选中块计算注意力分开
    • 从第一步联合训练图文,避免后加视觉的困难
    • 模型与训练
  411. 21:17
    Agents' next frontier: agent-to-agent and network effects — Jean-Denis Greze, Town

    Town:agent 间协作本质是搜索问题,把对的信息在回答或调用工具前放进上下文;比较五种在隐私约束下跨越信息孤岛的方法。

    可以学到 / 用在工作里
    • 评估 agent 协作看能否把正确信息带进关键的模型调用
    • 自定义工具可以广泛搜索但只返回有限结果
    • 「清扫 agent」把私有工作变成待审的共享知识
    • Harness 与架构
    • 检索与知识
  412. 26:25
    Your company brain will leak secrets: how we stopped it for big banks — Tanmai Gopal, PromptQL

    PromptQL:公司大脑会泄密——全公司 wiki 按文件设访问范围,知识变更需人工批准并留署名,用请求者权限做检查,凭据留在沙箱外注入。

    可以学到 / 用在工作里
    • 公司大脑要在真实工作中成长
    • 共享知识放在一个链接的命名空间,按文件设读写范围
    • agent 提议事实与范围,人批准并署名,用请求者身份检查权限
    • 安全与隔离
    • 检索与知识
  413. 15:08
    Everyone Gets A Software Company — Benjamin Guo, Zo Computer

    Zo Computer:每个人都有一家软件公司——内置 AI 的个人云服务器,拥有自己的数据、工具和 agent 积累的智能。

    可以学到 / 用在工作里
    • 个人云:文件、AI、托管服务集中在一台个人控制的服务器上
    • 把网站咨询、来电、付款、记录串在同一环境
    • agent 的智能积累在你自己的环境里
    • 产品与交互
    • 创业
  414. 20:41
    From coding to Knowledge work agents — Karan Vaidya, Composio

    Composio:从编码 agent 到知识工作 agent,后者缺乏六项基础设施——集中、历史、上下文、验证、治理、可撤销。

    可以学到 / 用在工作里
    • 编码 agent 受益于六项基础:集中、历史、上下文、验证、治理、可撤销,知识工作也需要
    • 跨应用的行动记录可作记忆、供人检查和沉淀 skill
    • 工具执行成功不代表动作合适,要有验证与模拟
    • Harness 与架构
    • 安全与隔离
  415. 21:09
    Tethered: Our Agents Are Us — Shu Fang, Two Sigma

    Two Sigma:让云端 agent 用员工本人身份运行(独立 agent 账户太麻烦),依托现有 K8s,用归属请求头和受控网页访问控制风险。

    可以学到 / 用在工作里
    • 给每个用户再建一个 agent 身份会带来权限漂移和重复授权:让 agent 以员工本人身份运行
    • 用传播的请求头记录是 agent 发起的
    • 用受控的网页访问路径替代开放出站
    • 安全与隔离
    • 基础设施与算力
  416. 23:18
    The End of the Static Screen: Architecting Intent-Driven UX — Gus Iwanaga, commercetools

    commercetools:静态页面的终结——放弃不一致的 AI 自由拼装报表,改用声明式方式把用户意图和工具结果映射到 schema 定义的原生组件。

    可以学到 / 用在工作里
    • 让 AI 自由拼装报表,同一请求每次结果都不同:改为声明式
    • 意图分类选择工具和组件,schema 保留设计系统
    • 按需选择委托程度:选成品组件、沙箱 iframe 中的 HTML、声明式 UI 规范
    • 产品与交互
  417. 21:39
    Beyond the Lethal Trifecta: Agentic Commerce on the Open Internet — David Levine, Kiduna Club

    Kiduna Club:开放互联网上的 agent 经济,以注册组织、密码学 agent 身份和成员治理为基础,DUNA、JWT 凭据和区块链审计。

    可以学到 / 用在工作里
    • 可组合需要共享的社会安排,不只是可复用程序
    • 致命三角让不可信文本变成泄露私有数据的路径
    • 用 JWT 声明解析到注册的组织并留审计记录
    • 安全与隔离
    • 行业应用
  418. 20:48
    x402 isn’t good (yet) — Jan Curn, Apify

    Apify:x402 还不够好——结算前验证付款让卖家面临双花,固定价格与 HTTP 要求冲突,难以支持长时工具和 MCP。

    可以学到 / 用在工作里
    • x402 中验证签名并不锁定资金:结算后再执行昂贵工作
    • HTTP 状态码要求让 x402 与 MCP 认证冲突
    • 按量计费的任务需要托管和后续结算
    • 行业应用
    • 产品与交互
  419. 20:48
    Agent Spending Without Controls — Rodrigo Coelho & Pranav Maheshwari, Edge & Node

    Edge & Node 的 Ampersend:agent 支付、付费工具与合规控制,机器速度下的策略与钱包筛查。

    可以学到 / 用在工作里
    • 付费工具除了 MCP 连接还需要支付方式
    • 能付钱需要一个能拒绝交易的独立层
    • 钱包筛查和预算强制要在执行时生效
    • 行业应用
    • 安全与隔离
  420. 20:40
    When AI Agents Pay and Sellers Monetize: Building x402 Apps on AWS — Anil Nadiminti, AWS

    AWS 上构建 x402 应用:AgentCore Payments 钱包集成、花费上限、受保护密钥、支付路径与 agent 循环分离;卖方在边缘识别机器人并按路径定价。

    可以学到 / 用在工作里
    • x402 把资源请求变成支付交换
    • 会话预算、过期、钱包和支付执行放在 agent 推理循环之外,私钥 agent 不可见
    • 卖方在边缘按路径识别机器人并定价
    • 行业应用
    • 基础设施与算力
  421. 20:52
    Why Your AI Agent Needs a Wallet: USDC and Nanopayments — Harshal Bhangale, Circle

    Circle:agent 为什么需要钱包——有钱包的 agent 能付费、发邮件、打电话完成世界杯行程规划,USDC 与纳米支付。

    可以学到 / 用在工作里
    • 钱包强制的花费上限让 agent 小额购买无需人工逐笔批准
    • 付费服务让 agent 从「草稿」变成真正发出邮件、打出电话
    • 纳米支付先即时确认、再批量结算
    • 行业应用
  422. 16:07
    Your Agent Just Authorized What?! — Jay Mok & Ben Coumes, Paypal

    PayPal:agent 刚刚授权了什么?基于人类同意、范围内权限和事后可验证证据的授权框架,以及提前授权的审批令牌。

    可以学到 / 用在工作里
    • agent 授权要回答三件事:人是否同意、动作是否在范围内、事后能否证明
    • 可逆、同一信任边界内用轻量权限和日志
    • 高风险或陌生对手方才需要更强证明,提前授权的审批令牌
    • 安全与隔离
    • 行业应用
  423. 19:10
    Teaching agents to pay — Anna Spysz, Stripe

    Stripe:教 agent 付款——商家目录结构化、把咄咄逼人的 agent 人设改成耐心导师、共享支付令牌、花费上限与审计日志。

    可以学到 / 用在工作里
    • agent 就绪的电商需要机器可读的商家能力、目录与政策
    • 结构化属性喂给决策日志,解释推荐依据
    • 系统提示会大幅改变销售行为,但限额必须由支付方强制
    • 行业应用
    • 产品与交互
  424. 21:07
    Multimodal Collaborative Agents for Next-Gen Commerce — Nidhi Kaushik Vyas, Google DeepMind

    Google DeepMind:多模态协作购物 agent 的发现-研究-回应循环,从对话和图片汇总约束、优先问有用的问题、用视觉方式引出偏好。

    可以学到 / 用在工作里
    • 帮用户形成目标是购物任务的一部分:只问会改变推荐的问题
    • 工作状态区分明确约束、从图片推断的偏好和变化的事实(库存)
    • 用户说不清时用视觉方式引出偏好
    • 产品与交互
    • 多模态与语音
    • 行业应用
  425. 56:59
    SOTA Generative Media Panel — Dumitru Erhan, Shane Gu & Nicole Brichtova, Google DeepMind

    Google DeepMind 生成媒体圆桌:图像、视频、音频模型的编辑工作流、语言作为表示的局限、评测之难,人类偏好会鼓励不想要的审美。

    可以学到 / 用在工作里
    • 参考素材传达语言难以表达的场景、声音和风格,指令说明改什么
    • 音画联合生成在生成内部解决口型同步
    • 人类偏好会奖励锐利、饱和等不真实的审美,评测要谨慎
    • 多模态与语音
    • 模型与训练
  426. 19:44
    The Signal Layer: What to Build When Anything Can Be Built — Lena Hall, Akamai

    Akamai 的 Lena Hall:什么都能造时,价值转向选对问题并准确传达价值;「信号层」在内容创作和组织交接中保持产品的具体目的。

    可以学到 / 用在工作里
    • 评分器让执行更好优化,但不决定问题值不值得做
    • 差异化来自具体领域经验、新需求和客户关系
    • 先提供第一手内容与观点,再交给 AI 起草和格式化
    • 产品与交互
    • 创业
  427. 20:42
    Agentic Sites: Building Hyper Personalized Websites — Carlos Sanchez, Adobe

    Adobe 的 agentic 网站:根据访客浏览信号和查询改写部分内容块,基于网站已有内容生成,营销人员定义人设。

    可以学到 / 用在工作里
    • 只个性化选定的内容块,以网站已有内容为检索语料
    • 把延迟当作模型质量的一部分
    • 预生成「为你推荐」页把生成提前到点击之前
    • 产品与交互
  428. 17:22
    Tell the Robot What You Want — Sandhya Subramani, AWS

    AWS:用 Strands Agents 让漫游车 Scout 听懂自然语言,agent 选择已有机器人工具和策略,云边分层架构,交互数据可用于训练。

    可以学到 / 用在工作里
    • agent 负责选择做什么,已有策略负责怎么做,缺失的物理能力仍然缺失
    • 分离 agent、策略提供方、执行后端和硬件
    • 自然语言流畅不等于能完成复杂物理任务
    • 机器人
  429. 12:02
    Tribal Dungeons of Global Shipping: AI Agents at Global Scale — Dmitry Buykin, Maersk

    Maersk:把航运运营的部落知识变成 agent 可安全执行的流程,明确流程定义、有界执行、共享 trace、专家反馈,可靠性来自围绕 agent 的改进体系。

    可以学到 / 用在工作里
    • 截图序列不是可执行的 SOP:agent 需要前置条件、分支、标识符、后端操作、校验与恢复
    • 可靠性来自围绕 agent 的改进体系(9 个月 10 万次纠正)
    • 纠正只有改变可执行行为并被回放验证才算修复
    • 行业应用
    • Harness 与架构
  430. 19:27
    Agents Are Where Microservices Were in 2015 — Roberto Milev & Uday Kanagala, Navan

    Navan:agent 就像 2015 年的微服务,先把单个 agent 循环做可靠再加编排;持久会话、记忆、渐进加载 skills、工具调用追踪、轨迹评测和细粒度授权。

    可以学到 / 用在工作里
    • 先把单个 agent 循环做可靠,再考虑多 agent 编排
    • 生产 agent 需要持久、隔离的会话和可恢复的状态
    • skills 是可独立测试复用的单元,用工具调用前后的拦截点做阻断与度量
    • Harness 与架构
    • 基础设施与算力
  431. 19:48
    AI Agents Are Just Distributed Systems Now — Salman Munaf, TikTok

    TikTok:agent 调用外部服务就是分布式系统,概率性的协调者需要确定性控制——幂等、有界重试、权威状态、限定权限、补偿与可恢复的 trace。

    可以学到 / 用在工作里
    • agent 协调外部系统是概率性的,要用确定性控制约束后果
    • 超时后结果未知:用请求 ID 查状态,幂等防止重复效果
    • 去重、退避、熔断、执行预算解决不同故障,部分失败要补偿
    • Harness 与架构
    • 基础设施与算力
  432. 18:44
    Which AI startups actually land enterprise contracts? — Brian Lewis, Millennium

    Millennium:哪些 AI 创业公司能拿下企业合同——产品价值、安全、可靠性、法务四关;要有能用的集成、可信的运营控制和可执行的数据承诺。

    可以学到 / 用在工作里
    • 企业采购的四关:产品价值、安全、可靠性、法务
    • 安全控制必须在客户实际配置下仍可用(数据保留、客户管理密钥、权限组)
    • 频繁发版需要可控上线与版本可见,数据承诺要能落实到实现
    • 创业
    • 安全与隔离
  433. 19:26
    The Half Life of Agent Infrastructure — Ben Kus, Box

    Box:agent 基础设施的半衰期很短,「选好技术栈少换」的老建议失效;让团队准备好反复变化、让底层可替换、用评测证明迁移必要、看供应商的适应能力。

    可以学到 / 用在工作里
    • agent 基础设施的半衰期以月计
    • 更好的架构不代表上次选择是错误,要对团队讲清楚
    • 在客户面前放稳定抽象,下面的模型、检索、循环可替换,用评测证明迁移必要
    • 基础设施与算力
    • 团队与组织
  434. 23:04
    From Tokenmaxxing to Trusted Throughput — Mingsheng Hong, Ironclad

    Ironclad:从 token 最大化到「可信吞吐」——被自动检查、人工判断和客户体验验证过的产出;预算、有界 agent 循环、prompt cache 和上下文管理控制浪费。

    可以学到 / 用在工作里
    • token 仪表盘是烟雾报警器不是排行榜
    • 衡量交付价值(按复杂度加权的合并 PR)与成本
    • 「可信吞吐」= 自动检查 + 人工判断 + 客户使用证据
    • 团队与组织
    • 基础设施与算力
  435. 20:57深读
    From AI-Assisted to AI-Native: Building a Frontier Development Team — Clare Liguori, AWS

    AWS 的 Clare Liguori:从 AI 辅助到 AI 原生的前沿团队五个习惯——维护有用的 agent 上下文、投资代码库就绪度、让 agent 自主验证、实现前澄清意图、快速测试反馈;也谈初期变慢、倦怠和评审压力。

    可以学到 / 用在工作里
    • 把「agent 犯错 → 补一条知识进 skills/steering」变成团队例行动作,并定期删除过时条目。
    • 为外部依赖建立本地确定性 mock,让 agent 在本地就能跑通集成测试并自我修正。
    • 有意识地培养初级工程师的评审能力(结对评审、评审清单),避免评审成为新的单点瓶颈。
    • 团队与组织
    • 编码 agent
    • 质量与评审
  436. 20:30
    AI-Native Organisations Run on Skills: How to Structure and Scale Them — Imad Touil, QuantumBlack

    QuantumBlack:AI 原生组织靠 skills 运转,skills 编码组织诀窍,需要刻意设计、共享基础设施与人负责;中央目录做版本、权限、评测和安全检查。

    可以学到 / 用在工作里
    • skills 是组织基础设施:专精、可发现、可组合
    • 中央注册表管理元数据、依赖、版本、权限、评测与安全检查
    • 不治理的 skills 会成为新型技术债,每个 skill 要有人负责
    • 上下文 / Skills / MCP
    • 团队与组织
  437. 15:07
    Building uReview, Uber’s Multi-Agent Code Review Engine — Will Bond & Ameya Ketkar, Uber

    Uber 的多 agent 代码评审引擎 uReview:路由与评论过滤架构,用开发者反馈和 agent 轨迹改进质量和成本,按团队定制评审者。

    可以学到 / 用在工作里
    • 评审引擎把生成评论与交付分开:先评分、分类、过滤、去重再给工程师
    • 观测要结合开发者说了什么、改了什么以及 agent 怎么得出发现(采纳率约 67%)
    • 团队自有的评审规则需要归属集成与确定性路由
    • 质量与评审
    • 软件工厂 / 多 agent
  438. 10:06
    Your Code Has Bugs. Lean4 Has Proofs: Formal Verification for Engineers — Varun Pant, AWS

    AWS:Lean4 形式化验证入门——人验证规格、机器产出实现与证明,讲 tactics 与可信内核,zlib、Cedar 实例与 Rust 验证思路。

    可以学到 / 用在工作里
    • 证明只保证代码符合规格:先验证规格的含义,再生成实现与证明
    • tactics 搜索构造证明,小而独立的内核检查结果
    • 生产 Rust 可用差分随机测试对照 Lean 模型(Cedar 每晚 1 亿次)
    • 质量与评审
  439. 17:46
    How do you diffuse AI into the real world? — Varun Shenoy, Long Lake

    Long Lake:如何把 AI 扩散到真实世界——在服务企业里逐步挣得自主权、基于真实工作的评测、与员工面对面协作。

    可以学到 / 用在工作里
    • 模型能力与业务扩散是两回事:要改流程、培训和激励
    • 自主权逐级挣得:副驾 → 同步 → 异步 → 长时运行
    • 真实工作产生轨迹、标准答案和回归测试,与员工面对面共同设计
    • 团队与组织
    • 创业
  440. 17:42
    How to Get Your Org to Adopt Coding Agents (Without Shipping Garbage) — Eyal Blum, Figma

    Figma 推广编码 agent 而不交付垃圾:投入验证、写分阶段可独立验证的详细计划、让持怀疑态度的工程师参与安全改进、区分人写与生成的沟通内容。

    可以学到 / 用在工作里
    • 早期小胜不会自动推广,大任务会暴露上下文、护栏与验证的缺口
    • 把反复出现的检查变成确定性测试,验收标准先于实现
    • 计划要分阶段、每阶段可独立验证;让持怀疑态度的工程师领导安全改进
    • 团队与组织
    • 质量与评审
  441. 16:11
    AI Evals for Cross-Functional Teams — Nachiket Paranjape & Swaroop Chitlur Haridas, DoorDash

    DoorDash:让评测成为工程、产品、策略、运营共同的责任,稳定 API、运营自建标注界面、金标数据集和自助评委校准。

    可以学到 / 用在工作里
    • 评测是跨职能的:工程提供 trace、数据集和评委,领域专家定义质量标准
    • 循环:追踪→抽样→标注→复核→金标集→校准→监控
    • 稳定 API 让运营人员用编码 agent 自建标注界面,评委校准可自助复核
    • 评测
    • 团队与组织
  442. 16:23
    Productionizing LLM Gateways: Architecture, Tradeoffs and Hard Lessons — Kanish Manuja, Twilio

    Twilio:生产级 LLM 网关在可用性、延迟、护栏、成本间权衡——经测试的单请求回退、按模型测延迟与超时、明确护栏失败策略、过载保护。

    可以学到 / 用在工作里
    • 按请求做供应商回退,配合冷却避免反复打到故障的主供应商
    • 流式输出一旦开始就无法透明切换供应商
    • 按模型和路由测 P99 并设超时,护栏要有明确的失败策略和时间预算
    • 基础设施与算力
  443. 16:46
    Building the Engine While Flying the Plane: Launching the Figma MCP Server — Jesse Lumarie, Figma

    Figma MCP 服务器诞生记:每周一天的实验三个月上线,设计上下文表示、自动评测、复用现有代码组件、应对 MCP 客户端支持不一,先本地后远程。

    可以学到 / 用在工作里
    • 按保真度与上下文成本选择 agent 的表示(React + Tailwind 结构 + 渲染图)
    • 别把 Base64 资源塞进上下文,用引用
    • 像素完美的生成代码不够,要指向已有组件(Code Connect),先本地上线再解决远程认证
    • 上下文 / Skills / MCP
    • 产品与交互
  444. 17:48
    How to avoid disaster when vibe-coding a billing engine — Andrew Garvin, Stripe

    Stripe:vibe coding 计费引擎如何避免灾难,用 Stripe Projects 与 Metronome 计费 agent 搭沙箱,可移植的 skills 文件、清晰报错、真实测试用量、上线前人审。

    可以学到 / 用在工作里
    • 计费不只是计量:还有额度、承诺、折扣与优惠
    • 可移植的 skill 提供 API 知识,清晰详细的报错帮 agent 自我纠正
    • 计费沙箱要有真实测试用量,生成草稿发票后由人审
    • 行业应用
    • 质量与评审
  445. 26:10深读
    How Anthropic Builds: Lessons from Labs — Mike Krieger, Anthropic

    Anthropic CPO Mike Krieger:把更大的目标委托给 Claude、Anthropic Labs 如何快速实验(两周项目评审)、周末完成的代码迁移、人的理解是评审瓶颈、专业化创业机会。

    可以学到 / 用在工作里
    • 按目标和最终状态委托给 agent,让它自己规划;人负责理解结果中的决策与取舍。
    • 把 agent 委托放到公开频道(如 Slack 里 @agent),让团队互相学习更有野心的用法。
    • 小团队实验采用固定节奏的「坚持或转向」检查,敢于频繁砍项目。
    • 团队与组织
    • 产品与交互
    • 编码 agent
  446. 18:35
    How to Generate Mergeable Code with a Context Engine — Peter Werry, Unblocked

    Unblocked:用上下文引擎生成可合并代码——编码 agent 需要历史决策、团队约定和架构理由,支持规划、评审和调试。

    可以学到 / 用在工作里
    • 编码 agent 每次都要重新发现仓库结构、测试做法和部署约定
    • 搜索访问会导致「搜到即止」,错过会改变计划的证据
    • 按任务选择上下文,把代码与意图、评审历史和专家联系起来
    • 上下文 / Skills / MCP
    • 编码 agent
  447. 30:00
    Can LLMs Write Fast Multi-GPU Kernels? — Simran Arora, Together AI

    Together AI:LLM 能写快速的多 GPU kernel 吗?ParallelKittens 原语和 87 题的 ParallelKernelBench,模型在通信顺序、数据划分、调度上仍吃力。

    可以学到 / 用在工作里
    • 通信已成为分布式训练与推理的瓶颈(算力 7.2 倍、节点内通信 3 倍、节点间 2 倍)
    • 按消息大小、GPU 资源、重叠需求选择传输路径
    • 模型写多 GPU kernel 仍难在通信顺序、划分与调度
    • 模型与训练
    • 基础设施与算力
  448. 20:37
    The Agentic Commerce Stack — Ahnaf Prio, Best Buy

    Best Buy 的 agentic 商务技术栈:标准化商品数据、agent 通信、结账与支付授权,强调行为评测、协议合规和延迟测试。

    可以学到 / 用在工作里
    • 结构化商家 API 比截图 + DOM 的浏览器自动化更稳更安全
    • 分清协议职责:MCP 暴露工具、A2A 通信、ACP/UCP 表达商务操作、AP2 限定支付权限
    • 商品数据提前发布并保持库存同步,结账前做行为评测
    • 行业应用
    • 产品与交互
  449. 21:47
    KV Cache-Aware Routing and P/D Disaggregation on Kubernetes — Yuchen Fama & Ashish Kamra, Red Hat

    Red Hat:在 K8s 上做 KV cache 感知路由与 prefill/decode 分离,缓存复用加速响应,分离能否带来收益取决于负载与网络。

    可以学到 / 用在工作里
    • agentic 推理评测要有重复前缀、上下文变化与子 agent 扇出
    • 缓存感知放置平衡前缀复用与队列负载,保留策略决定缓存能否用上
    • prefill/decode 分离的收益取决于负载与网络
    • 基础设施与算力
  450. 18:49
    Knowledge Systems: The New GTM Stack — Jeffrey Wang, Exa

    Exa:GTM 是 AI 工程和数据问题——客户仪表盘、Slack agent、按他的写作和决策校准的 Jeffbot,程序化数据访问。

    可以学到 / 用在工作里
    • GTM 可以建模为数据系统:产品知识 + 客户行为 + 外部市场信息
    • 稳定界面(仪表盘)配合灵活的 agent(Slack 调查)
    • 个人分身拆成写作风格、判断校准、访问权限三个问题
    • 团队与组织
    • 检索与知识
  451. 18:16
    The Death of Developer Advocates — Stephanie Jarmak, Sourcegraph

    开发者布道已死?DevRel 要同时服务把工具当用户和推荐者的 agent,用基准与 trace 评估 agent 用工具的情况,减少 agent 的摩擦也帮了人。

    可以学到 / 用在工作里
    • 开发者关系的受众现在包括 agent:它既是用户也是推荐者
    • 分别衡量工具调用成功率、恢复轮次、token、延迟、被提及和被推荐
    • 成功恢复也可能暴露糟糕体验,过时内容会持续伤害推荐
    • 产品与交互
    • 团队与组织
  452. 16:27
    How We Got LLMs to Recommend Our Open Source Library — Christopher Burns, Inth

    如何让 LLM 推荐我们的开源库:精简文档索引、Markdown 交付、文档工具、随包附带指引,LLM 推荐成了最大的入站来源。

    可以学到 / 用在工作里
    • LLM 推荐可以成为开源库最大的入站来源:精简的 llms.txt + 完整的注释索引
    • 通过 .md 后缀、内容协商等多种方式提供 Markdown
    • 把文档和 AGENTS.md 随包附带,让编码 agent 找到最新用法
    • 产品与交互
    • 上下文 / Skills / MCP
  453. 20:39
    Building GTM AI Agents: Lessons from Deploying to 6,000 Users — Sait Izmit, Snowflake

    Snowflake 内部 GTM 助手推给约 6000 名用户、回答 100 万+ 问题:答案质量、分阶段上线和持续推广,从数据问答扩展到流程自动化。

    可以学到 / 用在工作里
    • 按用户真实会问的问题评测,宁可少而可靠也不要广而平庸
    • 分阶段上线:试点验证质量、beta 找覆盖缺口、全面上线后推动采用
    • 分别度量试用与留存,从数据问答扩展到流程自动化
    • 团队与组织
    • 行业应用
  454. 19:15
    How AI Agents Let GTM Teams Scale — Justin Joyce, Cloudflare

    Cloudflare 用 agent 支持 GTM 团队:可复用的分析 skills、主动推送洞察、自助 agent 工作区,三 agent 报告流程。

    可以学到 / 用在工作里
    • 可复用的分析 skill 把业务问题连到数据含义与查询逻辑,不会 SQL 也能自助
    • 周报流程:起草 → 事实复核 → 语气调整,前两三个月逐次检查
    • 主动推送的摘要提供共同视角
    • 团队与组织
    • 行业应用
  455. 19:04
    GTM Engineering: The Technical Bits — Everett Berry, Clay

    Clay:GTM 工程的四个技术基础——维护客户数据、编排工具、常驻的客户 agent、协调触达,数据覆盖与刷新的取舍。

    可以学到 / 用在工作里
    • 把 GTM 的数据、自动化与活动当作需要发布节奏的软件系统
    • 账户模型要合并一方数据与第三方补充,并按字段设刷新策略
    • 编排要显式建模异步依赖:一个工具写入成功不代表下游已同步
    • 团队与组织
    • 行业应用
  456. 21:14
    AI in GTM at Notion — Flora Liu

    Notion 的 GTM AI:围绕共享客户上下文和「了解-决策-行动-学习」循环统一系统,agent 调研和起草,销售保留审批与客户关系。

    可以学到 / 用在工作里
    • 客户上下文必须包括会改变决策的笔记(失去支持者、法务阻碍、要求停止联系)
    • 共享的资格与路由规则跨渠道协调下一步
    • agent 准备工作、人批准,研究与起草在持久工作流里运行
    • 团队与组织
    • 行业应用
  457. 19:54
    The Building Blocks of GTM Orchestration — Arman Vaziri, Ramp

    Ramp 的 GTM 编排基础:内部客户数据平台、持久 agent 执行、可搜索的非结构化信息、可定制 skills,会前简报是第一个用例。

    可以学到 / 用在工作里
    • 从具体的运营瓶颈开始(会前简报),再复用数据映射和工具
    • 共享客户数据层要保留实体关系与来源
    • 持久执行把工具和模型调用变成可恢复的活动
    • 团队与组织
    • 行业应用
  458. 19:10
    Reverse-Engineering the AI Buyer — Aliisa Rosenthal, Acrew Capital

    前 OpenAI 销售负责人:逆向理解 AI 买家,先做自助和自动化,在已证实的瓶颈处再加人,限制耗资源的试点。

    可以学到 / 用在工作里
    • 先做自助和自动化,用它们的失败决定加哪些企业能力和人手
    • 立即回应入站需求,帮买家一起完成难的下一步
    • 只为值得的机会做试点,可用合同退出条款代替
    • 创业
  459. 15:03
    The Missing Layer in Agentic AI — Giedrius Šteimantas, Oxylabs

    Oxylabs:agent 缺的是网页访问层——发现用搜索 API、评估用校验过的抓取结果、结账才用浏览器自动化,先验证内容再送进模型。

    可以学到 / 用在工作里
    • 按任务选网页访问工具:搜索找候选、抽取校验内容、浏览器用于结账
    • HTTP 200 和响应大小不代表页面有用
    • 先校验再压缩,别让模型去拒绝无效内容
    • Harness 与架构
    • 检索与知识
  460. 16:55
    Einstein Arena: Harnessing Collective Agent Intelligence for Open Science — James Zou, Together AI

    Together AI 的 Einstein Arena:为 agent 研究提供基础设施、激励和反馈的环境,用于协作科学问题和 kernel 优化;DSGym 评测和训练数据科学 agent。

    可以学到 / 用在工作里
    • agent 环境定义工作区、激励、资源、护栏与反馈,让 agent 自己选方法
    • 确定性验证 + 可见提交 + 排行榜 + 讨论,让一个 agent 的失败成为另一个的线索
    • 把验证器换掉就能优化 GPU kernel 等不同问题
    • 模型与训练
    • 评测
  461. 20:28
    Agent Frameworks Considered Harmful — Rémi Louf, .txt

    .txt 的 Rémi Louf:agent 框架有害论——自动化晨间工作流时遇到重复简报、丢失语音笔记、未追踪的提示改动,于是做了事件驱动运行时:持久事件日志、带尝试计数的队列、内容寻址的提示存储,agent 只是订阅事件的声明式文件。

    可以学到 / 用在工作里
    • 定时任务按时间触发,事件按发生的事触发
    • 后台 agent 需要带尝试计数的队列和可追溯的只追加日志
    • 提示组件内容寻址存储,可重建、可比较、可在别的模型上重放
    • Harness 与架构
    • 基础设施与算力
  462. 22:05
    Coding Agents Don't Scale Themselves. Neither Do Your Teams. — Patrick Debois, Tessl

    Tessl 的 Patrick Debois:编码 agent 不会自己扩展,团队也不会——共享上下文与 harness、针对重复失败的团队仪式、平台负责制、度量人工介入和复用。

    可以学到 / 用在工作里
    • 把重复的 agent 纠正当作改进共享上下文、harness 和循环的信号
    • 定义清楚的工作交给 agent,未定的产品与架构决策留在团队讨论
    • 度量得到正确结果需要几次人工介入、每个共享改进惠及多少人,平台团队负责
    • 团队与组织
    • 软件工厂 / 多 agent
  463. 20:51
    The Agent Behind the Curtain: Building the Oz Cloud Agent Platform — Safia Abdalla, Warp

    Warp 的 Oz 云 agent 平台:沙箱托管、跨 harness 一致支持、agent 编排与 API,仓库分诊与评审示例。

    可以学到 / 用在工作里
    • 托管与自托管沙箱满足不同基础设施需求,共享会话状态让换 harness 不割裂体验
    • 用 API 暴露 agent、算力与产物,让团队搭自己的工作流
    • 仓库 agent 自动分诊 issue、多轮评审 PR
    • 基础设施与算力
    • 软件工厂 / 多 agent
  464. 21:24
    FinOps for AI Agents: Who Spent All the Tokens? — Tisha Chawla & Susheem Koul, Microsoft

    Microsoft 的 Token Ops:agent 的 FinOps,归因花费、执行中套用预算策略,先引导(缩短输出)再终止,降低花费并提高完成率。

    可以学到 / 用在工作里
    • 把模型消耗归因到 agent 运行与使用维度
    • 预览模式先评估策略不强制执行
    • 接近预算时先引导(缩短输出)再终止,同时度量完成率与花费
    • 基础设施与算力
    • 团队与组织
  465. 19:53
    Give the Agent a Budget, Not a Token — Sachin Malhotra, Anthropic

    Anthropic:给 agent 预算而不是令牌。从一次误删工作负载的事故谈起:不对称权限、可回补的速率限制、聚合监控和「能否撤销」测试;提示说明意图,基础设施强制边界。

    可以学到 / 用在工作里
    • 用多维预算(数量、速度、可逆性、观测)替代布尔权限
    • 每个写操作限速且可回补,例外通道放在 agent 会话之外
    • 用「能否撤销」测试决定自主程度,监控聚合行为的触发线
    • 安全与隔离
    • 基础设施与算力
  466. 19:48
    Inside 847 Production Clinical AI Notes — Sebastian Fox, Composo

    Composo 分析 847 份生产临床 AI 笔记里有害的增、改、漏,静态 rubric 难判断哪些差异重要,改为从真实输出持续发现失败、沉淀专家推理。

    可以学到 / 用在工作里
    • 流畅的输出可能因遗漏而危险:检查每句合理不代表完整
    • 静态 rubric 难判断哪些差异重要
    • 从真实输出持续发现失败、沉淀专家推理并校准标准
    • 评测
    • 行业应用
  467. 16:45
    What If Your Chip Design Team Moved Like a Single Body? — Abduallah Mohamed, AIDAChip

    AIDAChip:芯片设计团队像一个身体一样行动——意图与约束的共享图谱、积累的机构知识、专业 agent;agent 越权改规格等失败说明要强制边界。

    可以学到 / 用在工作里
    • 只加 AI 工具会改善个人执行但加剧协调问题:让人和 agent 共享权威的意图、知识与工作状态
    • 按协同结果评估(完成度、审批合规、并发、成本)
    • agent 越权改规格说明边界必须在底层强制
    • 行业应用
    • Harness 与架构
  468. 15:53
    Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean

    DigitalOcean:模型选择应按请求的任务、成本、延迟、工具和用户偏好路由,而不是看基准;可配置路由、故障转移与评测。

    可以学到 / 用在工作里
    • 按请求而不是按应用选择模型:任务、工具、成本、延迟、风险、偏好
    • 先识别任务,再应用该任务的模型池、优化策略与故障转移顺序
    • 并排演示不是证据,用代表性评测比较
    • 基础设施与算力
    • 模型与训练
  469. 18:25
    Building Blocks for Uber’s Software Factory— Uday Kiran Medisetty & Adam Huda, Uber

    Uber 软件工厂的积木:agent 参与 70% 以上 PR、人均代码产出同比翻倍;集中模型网关(SPIRE 身份、PII 脱敏、百毫秒内安全控制)、MCP 网关与面向 CLI 的工具访问降低全舰队 token 消耗。

    可以学到 / 用在工作里
    • agent 参与 70% 以上 PR 时:集中的模型网关(身份、PII 脱敏、安全控制)
    • MCP 网关 + 面向 CLI 的工具访问,减少上下文占用
    • 预备好的运行环境、skill 生命周期管理,在 CI 之前验证改动
    • 软件工厂 / 多 agent
    • 基础设施与算力
    • 安全与隔离
  470. 13:22
    Building Agents Is Trivial Now, Context Is the Next Frontier — Jeff Ng, Unblocked

    Unblocked:造 agent 已经很容易,上下文才是下一个前沿——工单增强 agent 建议重开异步分发,却不知道它曾在 Slack 和事后复盘里记录过一次故障。

    可以学到 / 用在工作里
    • 造 agent 很容易,但没有组织记忆它会自信地重复过去的事故
    • 关键上下文常在 Slack 和事后复盘里
    • 把连接的数据源变成可行动的上下文后再重跑任务
    • 上下文 / Skills / MCP
    • Harness 与架构
  471. 14:09
    The Missing Layer: Design Taste in AI Agents — Hassan El Mghari, Together AI

    Together AI:agent 缺的是设计品味,识别常见视觉反模式,开源设计 skill Hallmark 结合反 slop 规则和强视觉参考。

    可以学到 / 用在工作里
    • 把「看起来像 AI 生成」拆成具体观察(反模式清单)
    • 排除规则配合正面视觉参考
    • 保存你反复做的设计纠正,选能快速迭代的模型
    • 产品与交互
    • 上下文 / Skills / MCP
  472. 20:38
    The Era of Compound Engineering — Kieran Klaassen, Every/Cora

    Every 的 Kieran Klaassen「复利工程」:把重复的纠正、产品判断和实现知识沉淀下来,让每个任务都让下一个更容易;开源 Compound Engineering 插件。

    可以学到 / 用在工作里
    • 复利工程:每个发布的功能都留下可复用的判断,让下一个更容易
    • 瓶颈从代码移到记忆,人的注意力放在两端(计划与评审)
    • 宁可花上下文也不要重复发现,把插件扩展到产品工作(构思、文档评审)
    • 编码 agent
    • 上下文 / Skills / MCP
    • 软件工厂 / 多 agent
  473. 20:37
    How I automate my own job at Hugging Face using agents — Niels Rogge, Hugging Face

    Hugging Face 的 Niels Rogge 用 agent 自动化自己的工作:确定性 LLM 工作流找论文、开 GitHub issue 邀请作者迁移到 Hub,再用 Claude Agent SDK + Modal 做跟进 agent。

    可以学到 / 用在工作里
    • 先用受控的确定性 LLM 工作流(每晚运行)自动化重复请求,并检查 trace
    • 下一个瓶颈是收件箱:用 agent SDK + CLI skill + 沙箱处理回复
    • 一次调用启动多个并行处理 agent
    • Harness 与架构
    • 团队与组织
  474. 18:54
    The Last Human Code Review: Building Trust in AI-Generated Code — Itamar Friedman, Qodo

    Qodo CEO:最后一次人工代码评审——把分散的团队标准、架构知识、agent 指令和历史上下文整合成开发者与 agent 都能用的治理系统。

    可以学到 / 用在工作里
    • 自动化评审不只是找 bug:要有团队标准、架构契约和积累的经验
    • 把分散在 AGENTS.md、CLAUDE.md、SKILL.md、MCP 里的标准纳入治理
    • 给人可检查的评审依据,并把发现转交给 agent 修复
    • 质量与评审
  475. 18:18
    Prototyping as Leadership: How a CTO Ships with AI Agents — Hursh Agrawal, The Browser Company

    The Browser Company CTO:用 agent 做原型成为领导者的责任——下午 5 点收集 Slack/Jira/Notion 上下文启动 agent,第二天早上审实现、PR、CI 和评审修复。

    可以学到 / 用在工作里
    • 管理者也能做原型:下午收集 Slack/Jira/Notion 上下文启动 agent,第二天早上审结果
    • 选择能容忍被打断的工作
    • 规格里写清验证与交付方式(拆成便于评审的 PR)
    • 团队与组织
    • 编码 agent
  476. 22:50
    Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

    Docker:agent 自主性受限于运行时能否强制安全——在 agent 信任边界外做隔离、任务范围的能力、即时 MCP 工具、感知意图的策略。

    可以学到 / 用在工作里
    • 合法的调查也会不断扩大访问:控制必须在 agent 信任边界之外
    • 判断请求的能力是否属于当前任务,按任务授予
    • 换模型或 harness 时控制仍要生效
    • 安全与隔离
    • 基础设施与算力
  477. 24:12
    Your Agent Evolved. Your Evals Didn't. — Ameya Bhatawdekar, Braintrust

    Braintrust:agent 进化了,评测也要进化——从单提示、RAG 链到 ReAct 循环和工作流图,节点契约、编排、工具调用都是新失败面,要评估结果分布。

    可以学到 / 用在工作里
    • 从单次调用到工具循环、记忆、代码执行,评测要扩展到整个系统行为
    • 链式结构有中间失败点,工作流图用显式控制换可预测性
    • 同一评测跑 k 次,评估结果分布
    • 评测
  478. 16:39
    Your Fine-Tuned Model Is Tech Debt: A 50x ROI House of Cards — Dan Bjornn, Lease End

    Lease End:微调模型带来 1200 万美元收入、50 倍 ROI,却积累了标注、合成样本、重训和供应商锁定的技术债,最终改为模型无关的 agent 框架。

    可以学到 / 用在工作里
    • 微调模型带来高 ROI 也积累标注、合成样本、重训与锁定的技术债
    • 修一个意图分类要花一周(训练只要一小时)
    • 把行为移到上下文中,用模型无关的 agent 框架,修指令即可
    • 模型与训练
    • 行业应用
  479. 16:16
    IT Admin for the AI Workforce — Sarthak Aggarwal, Decawork

    Decawork:企业要把 agent 当第二支劳动力来管理——运行时身份、负责人、委托权限、审计与撤销。

    可以学到 / 用在工作里
    • 把 agent 当第二支劳动力管理:注册、开通、授权、监控、调查、撤销
    • 普通内容也会成为指令入口(零点击泄露链)
    • 推理与权限分离,代码冻结等边界要可强制
    • 安全与隔离
    • 团队与组织
  480. 19:15
    Why Your Enterprise Tech Stack Isn’t Ready for AI Agents — Christopher Lovejoy & Saul Howard

    Anthropic 与 Anterior:医疗 agent 概念验证成功后卡在企业集成、合规审计、PHI、访问控制、客户自管基础设施和医生升级处理上。

    可以学到 / 用在工作里
    • 医疗 agent 概念验证后卡在审计、PHI、访问控制和升级处理
    • 审计日志作为事实来源,敏感对象与编排分离
    • 人与 LLM 用同一个动作契约,从记录状态和真实任务评测
    • 行业应用
    • 安全与隔离
    • 基础设施与算力
  481. 21:35
    From Ambient Documentation to Clinical Intelligence — Chaitanya Asawa, Abridge

    Abridge:从环境语音病历到临床智能与决策支持,语音驱动的临床试验入组检查和病历准备。

    可以学到 / 用在工作里
    • 环境语音病历是切入点,再扩展到临床决策支持(试验入组、病历准备)
    • 以医生校准的评测作为运营系统的一部分
    • 专用模型与实时匹配医嘱
    • 行业应用
    • 产品与交互
  482. 20:39
    200 Million Patient Interactions Later — Vivek Muppalla, Hippocratic AI

    Hippocratic AI:2 亿次患者交互之后,语音 agent 扩大主动随访而不取代医护;Polaris 由一个中央对话模型、30 个专科模型和工具调用验证器组成。

    可以学到 / 用在工作里
    • 主动随访扩大医疗覆盖而不取代医护
    • 中央对话模型 + 专科模型并行 + 验证器
    • 很多错误来自转写(「sí」被识别成字母 C),推理修不了,要按上下文识别
    • 行业应用
    • 多模态与语音
  483. 20:01
    Trading Desks to Clinical Trials: Parallels in Applied Vertical AI — Ayush Bhardwaj, Allos AI

    从交易台到临床试验:垂直 AI 需要窄范围 agent、专有领域数据、可观测性、可衡量回报和能评估专业输出的专家判断。

    可以学到 / 用在工作里
    • 垂直 AI 需要窄范围的 agent、竞争对手下载不到的证据
    • 对从业者的工作建模并让其可观测
    • 能跑不等于有效,需要能判断专业输出的专家
    • 行业应用
  484. 21:49
    Guardrails First: Engineering Member-Facing Health AI — Rashi Agrawal, Hinge Health

    Hinge Health:护栏优先——入口处移除 PHI、隔离生产系统、在模型执行前用确定性代码强制紧急升级与临床路由,持续评估临床回复和评委本身。

    可以学到 / 用在工作里
    • 在存储前就移除 PHI,让隐私成为架构属性
    • 每一轮先跑确定性代码处理紧急情况和临床路由,再调用模型
    • 按伤害定严重度,选择更安全的那类错误,持续评估回复和评委
    • 安全与隔离
    • 行业应用
  485. 17:18
    How to build an AI-Native Health Company — Dan Feng, Maven Clinic

    Maven Clinic 成为 AI 原生医疗公司:内部 AI 采用、AI 产品、文化变化和共享编排层,同时支持 Cursor 与 Claude Code。

    可以学到 / 用在工作里
    • AI 原生没有现成剧本:工具、产品和工作方式一起变
    • 支持不同采用速度的人,把归属权移近解决问题的人
    • 编码辅助从人能验证的任务开始扩展,排期与报销等流程保留可靠性控制
    • 团队与组织
    • 行业应用
  486. 16:43
    AI is the World’s largest Relationship Therapist — Clay Cockrell & Tony Fabrikant, CoupleWork AI

    CoupleWork:关系辅导 AI 应以临床结果而非参与度为目标,警惕讨好、风险升级不足和隐私薄弱。

    可以学到 / 用在工作里
    • 关系辅导 AI 应以临床结果为目标而非参与度
    • 先调查抱怨再认可解释,警惕讨好
    • 后台筛查风险模式并及时升级,保护私密披露
    • 行业应用
    • 产品与交互
  487. 16:45
    Don’t be data poor — Anuj Iravane, Anterior

    Anterior:合同限制无法留存病历,一次性生成的合成病历多样性不足,改为策略引导的符号决策树、多样场景采样和由粗到细构造。

    可以学到 / 用在工作里
    • 不能留存病历时用策略引导生成合成评测数据:反向从政策结果出发采样路径
    • 先构造患者旅程再生成文档,由粗到细
    • 检查一致性并闭合标签回路,让临床专家引导用例
    • 评测
    • 行业应用
    • 模型与训练
  488. 20:25
    Healthcare’s Agent Bytecode: X12 as the Harness for AI Agents — Vasant Kearney, Onlay

    Onlay:把医疗 X12 交易标准当作 agent 的「字节码」和 harness,贯穿理赔、门户、电话、影像和 EHR 流程。

    可以学到 / 用在工作里
    • 把行业交易标准(X12)当作 agent 的「字节码」和动作边界
    • 不同界面(门户、电话、EHR)对应同一业务交易
    • 结构合法不代表信息真实,保留证据并在对方自相矛盾时修正信念
    • 行业应用
    • Harness 与架构
  489. 19:14
    Shipping AI to a Million Patients Without an A/B Test — Jared Joselowitz, Ufonia

    Ufonia:无法对百万患者做 A/B 测试,用基于风险的模拟框架 MATRIX(LLM 扮演患者)验证临床语音 agent Dora。

    可以学到 / 用在工作里
    • 无法 A/B 测试时用 LLM 扮演患者的模拟框架做首次暴露
    • 按临床标准判断危险,而不只是「听起来像患者」
    • 评测失败转为提示改进,用分阶段临床证据决定上线
    • 评测
    • 行业应用
  490. 21:46
    Training Krea 2: What matters in generative model training — Sangwu Lee, Krea.ai

    Krea 2 训练要点:避免合成训练图、保留非常规风格、OCR + VLM 打标、用 pHash/MD5/分类器/稀疏自编码器去重过滤。

    可以学到 / 用在工作里
    • 保留非常规风格,别把审美过滤掉
    • 好图也可能是坏的监督信号:OCR + VLM 打标
    • 用 pHash/MD5/分类器/稀疏自编码器去重和找缺失概念,昂贵判断只花在关键处
    • 模型与训练
    • 多模态与语音
  491. 26:36
    Voice agents with Realtime Video — Sidney Primas, LemonSlice

    LemonSlice:带实时视频的语音 agent,给独立的语言和语音模型加一层 API 化的视觉层,接近「虚拟人图灵测试」。

    可以学到 / 用在工作里
    • 实时视频虚拟人:表情由音频表示驱动,因果生成保证实时
    • 长会话稳定性与 harness 同步
    • 在对话前加情绪理解模型选择恰当表情
    • 多模态与语音
    • 产品与交互
  492. 8:42
    Generative Video at the Speed of Light — Keegan McCallum, uRun

    uRun:生成视频在效率和实时连续输出上进步,长时生成、成本下降、交互式虚拟人、WebRTC,以及通过 CLI 或 MCP 面向 agent 的开发。

    可以学到 / 用在工作里
    • 快速连续的视频生成需要 GPU 路由、流式管线(WebRTC)和与输出同步的控制
    • 可通过 CLI 或 MCP 面向 agent 开发
    • 多模态与语音
  493. 17:30
    The Next Medium: Why Real-Time Interactive Video Changes Everything — Ahmed Ahres, Reactor

    Reactor:世界模型是实时交互视频而非静态媒体,连续可控生成,应用于广告、沉浸教育、互动直播和视频编辑(Helios 模型)。

    可以学到 / 用在工作里
    • 实时交互视频把成品文件变成可操控的会话
    • 流式、记忆、延迟和评测的要求不同于批量生成
    • 可用于互动广告、沉浸教育和直播
    • 多模态与语音
    • 模型与训练
  494. 12:44
    Building an Agentic Video Editor for Mass Consumer — Ekaterina Deyneka, Reelful

    Reelful:面向大众的 agent 视频剪辑器,远程沙箱里的 agent 用工具和 skills 生成视频合成与成片,而不是生成应用。

    可以学到 / 用在工作里
    • 面向大众的视频剪辑 agent:先理解素材,再让用户批准创意计划
    • 用代码表示剪辑合成,在远程沙箱里执行
    • 加入校验循环检查成片
    • 产品与交互
    • 多模态与语音
  495. 16:55
    Infra behind Krea 2: How to train and serve at scale — Gabriel Jorge Menezes, Krea.ai

    Krea 2 的训练与服务基础设施:在 InfiniBand 集群上从零训练扩散 Transformer,GPU 降频、误导性的利用率、张量核与网络指标,Kueue 组调度与 K8s 优先级。

    可以学到 / 用在工作里
    • 共享 GPU 集群里训练优先,推理在需要时移到外部提供商
    • GPU 利用率会误导,要看张量核与网络指标、单卡过热降频
    • 频繁检查点让崩溃便宜,用 Kueue 组调度
    • 基础设施与算力
    • 多模态与语音
  496. 19:32
    The Next Game Engine Won't Have a Manual — Arturo Nunez, Nereu

    Nereu:AI 原生的游戏创作,助手把自然语言变成资产、移动、动画和玩法,用标签系统让引擎推断对象行为。

    可以学到 / 用在工作里
    • 用标签系统让引擎从资产推断行为,用户描述意图而非引擎设置
    • 按用户当前编辑焦点裁剪场景上下文
    • 助手的产出要能被创作者继续修改
    • 产品与交互
    • 多模态与语音
  497. 18:35
    While my guitar gently speaks — Todd Fisher, Philo Ventures

    会说话的吉他:用 JUCE 插件、YIN 音高检测、ADSR 合成与生成语音做现场演示。

    可以学到 / 用在工作里
    • 创意硬件项目从最小可用开始(触发一段语音),再逐步加入分词、音高检测、声码器
    • 预计算样本降低实时难度
    • 多模态与语音
    • 产品与交互
  498. 1:03:26
    Context Engineering in 2026 — Louis-François Bouchard, Omar Solano & Samridhi Vaid, Towards AI

    Towards AI 工作坊「2026 上下文工程」:评估和优化开源 AI 导师的对话上下文——上下文腐烂、压缩与增量摘要、缓存、多轮召回、Opik 可观测性与成本。

    可以学到 / 用在工作里
    • 指令就在上下文里 agent 仍会忽略(上下文腐烂):先做便宜的压缩
    • 原文放在窗口外按需检索
    • 更短的提示可能因缓存失效而更贵,改动要可度量
    • 上下文 / Skills / MCP
    • 评测
  499. 16:25
    How to Kill the Code Review — Ankit Jain, Aviator

    Aviator:如何杀死代码评审——评审的本质是团队对齐和知识共享,把编码 agent 对话里的决策提取为验收标准,结合从重复评审意见学到的护栏和可执行测试。

    可以学到 / 用在工作里
    • 代码评审要保留的是团队对齐与知识共享
    • 把编码对话中的决策提取为验收标准,规格要在实现中持续更新
    • 重复的评审意见变成护栏,按意图评审证据与测试计划
    • 质量与评审
    • 软件工厂 / 多 agent
  500. 19:06
    Security Firewall for Agents — Ryan Dahl, Deno

    Deno 的 Ryan Dahl:事故响应 agent 拿到 Postgres、K8s、AWS、GitHub、Slack 的广泛权限,子进程能绕过 MCP 层控制,于是做了 MIT 开源的外部防火墙 Claw Patrol 检查协议级流量。

    可以学到 / 用在工作里
    • 事故响应 agent 需要生产访问:子进程和隧道会绕过 MCP 层的控制
    • 在 agent 之外做协议感知的防火墙,保管凭据并按规则审批
    • 代理注入凭据,agent 只拿占位符
    • 安全与隔离
    • 基础设施与算力
  501. 21:37
    The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore

    Rexmore 开源 chrome-agent:通过 Chrome DevTools Protocol 控制浏览器的 CLI,可复用的命令行流程比 MCP 浏览器自动化少很多模型往返;感知-行动-验证循环。

    可以学到 / 用在工作里
    • 把可重复的网页步骤写成代码,只在需要判断时调用模型
    • 通过 CDP 感知和操作浏览器,每步行动后验证
    • 点击成功不代表状态改变,按难度阶梯应对
    • Harness 与架构
    • 上下文 / Skills / MCP
  502. 22:19
    The Rise of CaaS: Context-as-a-Service for Agentic AI — Omer Primor, Bright Data

    Bright Data:上下文即服务(CaaS)——agent 需要新鲜结构化的网页知识,比较 Exa、Tavily、Google 等供应商的搜索与上下文能力。

    可以学到 / 用在工作里
    • agent 需要新鲜、结构化的网页上下文:按问题、来源与重复频率选择供应方式
    • 高频任务从已知来源构建记录更划算
    • 算节省时要计入搭建成本
    • 检索与知识
  503. 20:59
    Computer-use models will agentify the web, not APIs — Dhruv Batra, Yutori

    Yutori:大多数网站不会提供 agent 友好的 API,computer use 模型才能覆盖网页长尾(图片菜单、扫描件、信息公开流程)。

    可以学到 / 用在工作里
    • 多数网站不会提供 agent API:computer use 覆盖网页长尾(图片菜单、扫描件)
    • 用代码执行动作、用像素获取反馈
    • 答案可能不在页面文本里
    • 多模态与语音
    • Harness 与架构
  504. 17:46
    From RL to IRL — Gaurav Mishra, Amazon AGI Lab

    Amazon AGI Lab:编码 agent 的 RL 成功不能直接迁移到真实世界 computer use——部分可观测、误导性网页内容、模糊的完成状态,需要逼真的数字沙箱。

    可以学到 / 用在工作里
    • 编码 RL 的成功不能直接迁移到电脑操作:部分可观测、误导内容、完成状态模糊
    • 用逼真的沙箱训练(布局变化、弹窗、慢加载)
    • 训练恢复策略,并用保护性 harness 兜底
    • 模型与训练
    • 多模态与语音
  505. 19:03
    How Web Data Infrastructure Powers the Next Generation of AI — Patricija Žemaitytė, Oxylabs

    Oxylabs:生产 AI 依赖持续适应的网页数据基础设施,SERP 检索从 4 秒降到 550 毫秒,代理与解封扩容。

    可以学到 / 用在工作里
    • 网页数据基础设施要持续适应访问条件变化
    • 搜索进入响应路径后延迟很关键(4 秒降到 550 毫秒)
    • 测试本身可能成为容量瓶颈,维护是产品的一部分
    • 检索与知识
    • 基础设施与算力
  506. 18:25
    Bringing agents onto the world wide web — Paul Klein IV, Browserbase

    Browserbase 创始人:浏览器 agent 受限的不是模型,而是 harness、工具、skills 与记忆、可靠的浏览器基础设施;谈 WebMCP 和 Playwright CLI。

    可以学到 / 用在工作里
    • 浏览器 agent 的瓶颈在 harness、工具、skills 与记忆、可靠的浏览器环境
    • 与基线对比衡量 harness
    • 别每次重新发现网站:保存网站知识,WebMCP 让网站动作可被发现
    • Harness 与架构
    • 基础设施与算力
  507. 17:28
    Computer Use at the Edge of the Statistical Precipice — Pierluca D'Oro, Programma Labs

    Programma Labs:在确定性 computer use 基准上,小型盲目回放脚本能追平甚至超过前沿 agent;提出 PRISM 原则与 DigiWorld 安卓基准(15 个应用、387 个验证场景)。

    可以学到 / 用在工作里
    • 确定性基准上,盲目回放脚本能追平前沿 agent:评测需要经验证的变化
    • pass@k 也会继承回放问题
    • 编译任务、验证器与数据,多次运行并报告不确定性
    • 评测
    • 多模态与语音
  508. 13:04
    Memory Harnesses for Long-Running Research Agents — Stefania Druga, Sakana.ai

    Sakana AI:长时研究 agent 的记忆 harness——持久核心轨迹、归档记忆、向量检索、决策账本和排序召回,用本地量化模型在 M3 Ultra 上提升基准表现。

    可以学到 / 用在工作里
    • 记忆是「写—管理—读」循环:证据都能放进上下文时记忆不一定有帮助
    • 检索到正确记忆只是一半,排序更关键
    • 坏记忆会在每步浪费 token,正确证据也可能推出错误答案
    • 检索与知识
    • Harness 与架构
    • 模型与训练
  509. 21:17
    LLM Knowledge Bases: a practical guide — Ben Holmes, Warp

    Warp 的 Ben Holmes:LLM 知识库实战——把零散 Markdown 笔记变成 agent 可访问的个人知识库,用 enrich note skill 补来源、标签和反链,生成互联 wiki,并用 Obsidian CLI 和云沙箱自动更新。

    可以学到 / 用在工作里
    • 从一堆粗糙的 Markdown 笔记开始,用 skill 补来源、标签和反链
    • 围绕兴趣领域生成互联 wiki
    • 把维护放到后台定时运行
    • 检索与知识
    • 上下文 / Skills / MCP
  510. 20:01
    Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

    LangChain:改进 agent 本质是数据挖掘——采集执行 trace、检查失败和上下文压缩的影响、比较模型行为,用便宜开源模型规模化分析 trace,再蒸馏/微调/RL。

    可以学到 / 用在工作里
    • 改进 agent 是数据挖掘:采集 trace,给审查 agent 一个具体问题
    • 用便宜开源模型规模化分析 trace
    • harness 改进停滞时转向蒸馏、微调或 RL
    • 评测
    • 模型与训练
  511. 19:43
    Intelligence + Continual Learning = Expertise — Yu Su, NeoCognition

    NeoCognition 的 Yu Su:通用智能与情境专长是两回事,agent 在 computer use 上的脆弱来自缺乏领域知识,持续学习是自适应压缩。

    可以学到 / 用在工作里
    • 通用智能与情境专长是两回事:每家公司有自己的「局部物理」
    • agent 在日常数字工作上的脆弱来自缺乏领域知识
    • 持续学习是自适应压缩
    • 模型与训练
  512. 23:03
    Scaling up Continual Learning — Ronak Malde, Trajectory

    Trajectory:扩展持续学习,把真实交互变成训练信号;对比 SFT、DPO、RLHF、GRPO,主张在策略自蒸馏作为比标量奖励更丰富的 token 级信号。

    可以学到 / 用在工作里
    • 生产交互可以成为训练信号:在策略自蒸馏提供比标量奖励更丰富的 token 级反馈
    • 让同一模型在拿到提示后当老师
    • 长工具调用轨迹会出现分歧与提示泄漏,需要处理
    • 模型与训练
  513. 20:30
    Beyond Static Intelligence: Evaluating Continual Learning — Parth Asawa, UC Berkeley

    伯克利:静态基准测不出 agent 是否从经验中进步,提出 Continual Learning Bench,用陌生数据库上的重复 SQL 查询和 schema 变化测在线适应。

    可以学到 / 用在工作里
    • 静态基准测不出 agent 是否从经验中进步:把起始能力与学习增益分开度量
    • 用陌生数据库上的重复查询和 schema 迁移测试在线适应
    • 检查学到的东西在环境变化后是否仍有效
    • 评测
    • 模型与训练
  514. 19:30
    Lessons from Studying Every Memory System — Shlok Khemani, Independent

    研究每一种记忆系统:ChatGPT 从显式保存事实到基于对话的记忆,密集的运行画像、后台更新、过时或误推的记忆、画像可见性有限。

    可以学到 / 用在工作里
    • 保存事实解决重复但带来维护;后台综合省事但不消除错误
    • 检索过往对话 + 画像各有可见性取舍
    • 记忆架构服从产品形态,要处理过时与误推
    • 检索与知识
    • 产品与交互
  515. 19:02
    Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute

    Applied Compute:企业持续学习的四象限框架(离线提示、生产 trace、在策略数据),在 SWE-bench 上缩短推理而保持测试表现。

    可以学到 / 用在工作里
    • 生产 trace 能在没有可回放环境时教 agent 更好的行为
    • 用老师提示做自蒸馏,每步提示很重要
    • 让提示适应当前模型的实际行为(在策略数据)
    • 模型与训练
  516. 19:45
    Designing Agents (The Floor Is the Frontier) — Ben Hylak, Raindrop

    Raindrop:生产 agent 更需要抬高可靠性下限而不是冲高峰值;生产问题检测、修复验证、模拟、本地代码感知测试与开源自愈工作流。

    可以学到 / 用在工作里
    • 生产 agent 要抬高可靠性下限,而不是追峰值
    • 本地测试整个 agent,harness 变化时测试含义也变
    • 把奇怪行为变成可行动的 issue,用代码写 trace 分类器
    • 评测
    • Harness 与架构
  517. 20:50
    Adaption Labs: Gradient-Free Continual Learning — Sara Hooker, Adaption

    Sara Hooker(Adaption):算力集中限制了前沿 AI 的参与,AutoScientist 自动化模型训练,高效定制和更小的竞争模型能扩大参与。

    可以学到 / 用在工作里
    • 自动化训练配方(数据与训练循环)能扩大前沿 AI 的参与
    • 算力回报的位置在变化,高效定制与小模型
    • 数据质量、安全与访问仍决定机会
    • 模型与训练
  518. 19:42
    Scaling Compute on Context — Jack Morris, Engram

    Engram 的 Jack Morris:在上下文上扩展算力,让预训练模型获得私有信息和罕见技能(如 AMD GPU kernel)的深度知识。

    可以学到 / 用在工作里
    • 公开训练缺少你领域的深度(如 AMD GPU kernel)
    • 拟合文档不等于会用:训练上下文所带来的行为
    • 模拟任务让训练随模型持续改进
    • 模型与训练
  519. 31:23
    Claude Managed Agents and Evolution of Agentic Surfaces — Gagan Bhat & Isabella Kai He, Anthropic

    Anthropic:agent 构建界面的演进——Messages API → Claude Agent SDK → Claude Managed Agents,harness 假设要随模型演进,推理与沙箱执行分离,持久会话日志、可观测性与凭据库。

    可以学到 / 用在工作里
    • harness 修补会随模型进步变成负担(新模型不再有「上下文焦虑」)
    • 推理、执行、持久历史三者分离,上下文窗口只是历史的一个视图
    • 会话日志可恢复,凭据放在保险库
    • Harness 与架构
    • 基础设施与算力
  520. 16:56
    Agents, codebases, and teams — Aditya Khandelwal, Amazon AGI Lab

    Amazon AGI Lab:让团队用编码 agent 可靠交付是组织问题——生产事故、评审负担不均、渐进披露、共享编码实践,自动准备 PR 和修 CI 的 ShipIt skill。

    可以学到 / 用在工作里
    • 个人的 agent 配置放进共享生产代码库会失灵
    • 使用量上升不等于信心上升:由领导者负责共享工作流
    • 让上下文可发现、闭合修复循环,用一个完整工作流(准备 PR、修 CI)赢得信任
    • 团队与组织
    • 编码 agent
  521. 20:54深读
    How Codex Works — Dominik Kundel, OpenAI

    OpenAI 的 Dominik Kundel:拆解开源 Rust Codex harness——App-server 与 Responses API、上下文与 skills 预算、MCP、文件系统交互和 nano Codex 演示。

    可以学到 / 用在工作里
    • 自研 harness 时把上下文分成「稳定部分」和「随安装增长部分」,后者(工具、技能列表)用延迟加载/工具搜索控制体积并保持缓存命中。
    • 浏览器自动化让 agent 在持久 REPL 里写脚本,而不是每步调用一个点击工具;同样思路适用于数据处理。
    • 沙箱 + 自动审批组合:OS 级沙箱限制文件和网络,越界操作交给审查模型并留痕;警惕「为了完成任务换一条路」造成的数据去向改变。
    • Harness 与架构
    • 编码 agent
  522. 19:50
    Taking Reinforcement Learning Cross Datacenter — Nan Jiang, Modal

    Modal:跨数据中心做 RL 后训练,训练集群与分布式 rollout 分离;版本间 rollout 可见的权重变化不到 1%,无需反复传输 500GB 检查点。

    可以学到 / 用在工作里
    • 反向传播留在高速网络的训练集群,rollout 引擎放到可用 GPU 上
    • 版本间可见权重变化不到 1%:用无损稀疏补丁同步,而不是传整个检查点
    • 注意服务精度降低带来的偏差
    • 模型与训练
    • 基础设施与算力
  523. 22:31
    Guide, Verify, Solve — Anirban Chatterjee, Sonar

    Sonar「引导、验证、解决」:agent 开发需要系统化验证;卡内基梅隆研究显示静态分析告警和代码复杂度上升,人也会接受错误的 AI 建议。

    可以学到 / 用在工作里
    • 生成更快不等于开发更快:验证债随关键程度增长
    • 人对错误 AI 建议的接受率接近 80%,需要独立的兜底检查
    • 跨团队共享规则手册,按质量画像选模型
    • 质量与评审
  524. 20:37
    Velocity Sickness: What Happens When Your Whole Team Gets 10x Faster — Matt Dailey, Ref.

    Ref. 创始人:「速度病」——个人快了 10 倍,团队却被 PR、分散的项目、废弃的 agent 会话和不透明的自动决策淹没,需要共享持久的决策文档。

    可以学到 / 用在工作里
    • 个人快 10 倍,团队可能被 PR、分散项目和不透明决策淹没(「速度病」)
    • 人的工作移向规划与打磨
    • 在代码前让决策可见:共享、持久的规划文档,状态放文档、动作交给 agent
    • 团队与组织
    • 软件工厂 / 多 agent
  525. 18:44
    Multiplayer agentic engineering — Arjun Singh, Superconductor

    Superconductor:多人协作的 agent 工程,跨 Slack、GitHub、桌面和手机的持久共享会话,把会议和客户反馈自动变成 PR。

    可以学到 / 用在工作里
    • 多人协作 agent 工程:共享会话从 Slack 到 GitHub 延续,参与和产物可见
    • 执行脱离笔记本,限制凭据与网络
    • 用代码库特定的基准比较模型与 harness
    • 软件工厂 / 多 agent
    • 编码 agent
  526. 24:56
    Always-on agents run production without the on-call tax — Justin Smith, Resolve AI

    Resolve AI:常驻后台 agent 运行生产、免去 on-call 负担,结合生产上下文、推理与动作监控部署、排查 P99 漂移。

    可以学到 / 用在工作里
    • 代码交付越快,生产工作越多:常驻 agent 用触发器、持久执行和生产上下文监控变更
    • 没有告警的工作(如 P99 漂移)也要有人看
    • 反馈改变下一份报告
    • 基础设施与算力
  527. 20:08
    Anthropic's CCA Exam as a Field-Guide for Agentic Engineering — Frank Coyle, UC Berkeley

    伯克利 Frank Coyle:把 Anthropic 的 Claude 认证架构师(CCA)考试当作 agent 工程指南——编排循环、应用执行的工具、stop reason、token 耗尽、CLAUDE.md、MCP 集成。

    可以学到 / 用在工作里
    • 从认证考题看 agent 工程:检查模型为什么停止(stop reason)、处理 token 耗尽
    • 指令放在正确的作用域
    • 研究 agent 专业化、隔离上下文,无人值守工作负载要有控制
    • Harness 与架构
    • 上下文 / Skills / MCP
  528. 18:07
    Benchmarking Coding Agents on New vs Legacy Codebases — Denys Linkov, Wisedocs

    Wisedocs:在新旧代码库上对比编码 agent,评估六个月遗留医疗理赔管线重构是否值得,Cursor + o3 与 Claude Sonnet 4.6、Opus 4.8 的结果对比。

    可以学到 / 用在工作里
    • 技术债要证明值得偿还:更好的编码 agent 能完成有边界的重构,但全代码库尝试仍会中途停
    • 更长的任务时长不等于可依赖的交接
    • 先达到功能对等再持续交付,干净的代码库值得提前建设
    • 编码 agent
    • 评测
  529. 21:40
    Realtime multiplayer, automation, and you! — Idan Gazit, GitHub

    GitHub Next:Agentic Workflows 把自然语言 Markdown 指令编译成受治理的 GitHub Actions;研究原型 Ace 支持队友与编码 agent 实时协作。

    可以学到 / 用在工作里
    • 代码变便宜后,选对工作和保持对齐更难
    • 把自然语言 Markdown playbook 编译成受治理的 Actions(提示描述任务,不定义安全边界)
    • 实时多人协作让队友与 agent 共享上下文
    • 软件工厂 / 多 agent
    • 编码 agent
  530. 43:20
    Local Models: Trust, Control, Optimization — Carter Abdallah, NVIDIA

    本地模型圆桌(NVIDIA、Prime Intellect、Arcee):本地和开源模型带来所有权、持久访问、隐私与控制,Nemotron 与 Trinity 合作,模型溯源。

    可以学到 / 用在工作里
    • 开放模型让你知道运行的是什么、能为产品专门化、保留训练轨迹
    • 后训练改变得到有用结果的成本,为 harness 训练模型
    • 保留轨迹让下一个模型更好,用真实任务环境闭环
    • 模型与训练
    • 基础设施与算力
  531. 21:14
    The New Primitives: Building AI Native Software — Kwindla Kramer, Daily

    Daily 的 Pipecat:今天的 agent 只是通往 AI 原生软件的中间步骤,从 1945 年 Vannevar Bush 到现代知识导航器式演示。

    可以学到 / 用在工作里
    • 今天的 agent 只是通往 AI 原生软件的中间步骤
    • 新能力要普及需要像电子表格那样的新界面
    • 多模态、联网、随身的计算机正在形成
    • 产品与交互
    • 多模态与语音
  532. 46:00
    Compression at the Edge — NVIDIA, Unsloth, HuggingFace, Ollama

    边缘压缩圆桌(NVIDIA、Unsloth、Hugging Face、Ollama):FP32 到 FP4 与混合精度量化、尺寸与质量权衡、按层敏感度压缩、长上下文评测。

    可以学到 / 用在工作里
    • 量化要把精度留在误差关键处(混合精度、按层敏感度)
    • 基准分不能描述完整部署,长上下文要单独测(线性注意力层量化后长文本退化)
    • 大模型量化版 vs 小模型原生精度要按任务比较
    • 模型与训练
    • 基础设施与算力
  533. 17:30
    Open Source Is Dead. Long Live Open Source. — Saoud Rizwan, Cline

    Cline 创始人:开源已死,开源万岁——AI 贡献、维护者过载和供应链攻击动摇开源协作,可审计的 agent、开放权重模型和推理提供商竞争是出路。

    可以学到 / 用在工作里
    • AI 贡献让开源的信任基础受损:维护者过载、供应链攻击
    • 开源的价值在于可使用和可构建
    • 开放权重与推理提供商竞争能降低应用对单一订阅的依赖
    • 创业
    • 安全与隔离
  534. 48:17
    The State of Model Routing — NVIDIA, Cognition, OpenRouter

    模型路由现状圆桌(NVIDIA、Cognition、OpenRouter):多模型路由在能力、质量、成本和本地硬件间平衡,Devin Fusion、KV cache 感知路由。

    可以学到 / 用在工作里
    • 路由不只是选最便宜模型:谁规划、谁执行、共享什么上下文、何时切换
    • 保留前沿模型的判断,委托实现给便宜模型
    • 便宜 token 可能带来昂贵任务,路由要考虑缓存位置
    • 基础设施与算力
    • 模型与训练
  535. 18:53
    Gadgets: Personal app vibe coding that is actually safe — Kenton Varda, Cloudflare

    Cloudflare 的 Kenton Varda:Gadgets 让个人 vibe coding 应用真正安全——空源沙箱 iframe、CSP、postMessage、Cap'n Web RPC 与 Durable Objects 的隔离架构。

    可以学到 / 用在工作里
    • agent 能为个人改应用时,部署与权限模型也要变:每个应用是可分享的单元
    • 代码复用、实例共享
    • 用空源沙箱 iframe、CSP 和能力 RPC 限制执行
    • 安全与隔离
    • 产品与交互
  536. 56:29
    Building Turbopuffer: Gergely Orosz (@pragmaticengineer ) × Simon Eskildsen (CEO)

    Pragmatic Engineer 的 Gergely Orosz 访谈 turbopuffer CEO:从 Shopify 扩展基础设施到围绕客户需求和成本构建搜索数据库。

    可以学到 / 用在工作里
    • 测试真实故障(包括驱动)
    • 用硬件极限检验基准是否合理
    • 先算清每个操作应该花多少钱,让搜索经济学成立再扩张
    • 创业
    • 基础设施与算力
  537. 18:38
    MCP Apps: Extending the Frontier — Ido Salomon & Liad Yosef

    MCP Apps 规范作者:MCP-UI 如何演变成开放扩展,让服务在 AI 助手里交付带品牌的交互界面,社区治理与生态采用。

    可以学到 / 用在工作里
    • 服务不该在助手里变成一堵文字墙:MCP Apps 交付可识别的交互界面
    • 服务提供 HTML 与回调,宿主协调工具调用与整体用户旅程
    • 可以把多个服务的片段组合成一个任务
    • 产品与交互
    • 上下文 / Skills / MCP
  538. 23:54
    MCP Tasks (async): Why Aren't Any Agents Supporting Them? — Cornelia Davis, Temporal

    Temporal:为什么没有 agent 支持 MCP Tasks(异步)——持久异步工具执行带来状态管理、故障恢复和人在回路协调的复杂度,对比 Tasks v1 与 v2。

    可以学到 / 用在工作里
    • 异步工具调用不够:人工审批、连接恢复、持久任务句柄都难
    • 用持久工作流保留提交,跨故障恢复
    • 轮询有局限,Tasks 规范仍在演进
    • 上下文 / Skills / MCP
    • 基础设施与算力
  539. 17:24
    When Will The Benchmaxxing Plague End? — Nick Heiner, Surge AI

    Surge AI:刷榜之疫何时结束——评测昂贵、可被操纵、数据污染、验证器可钻空子(LMArena、SWE-bench Verified 被记忆、Unicode 奖励作弊)。

    可以学到 / 用在工作里
    • 排行榜奖励的进步用户未必感受得到:公开测试会被记住,验证器会被钻空子
    • 好任务昂贵、需要持续更换
    • 指令遵循评测需要产品判断,质量控制是测量的一部分
    • 评测
    • 模型与训练
  540. 21:14
    Rethinking Environments for Long-Horizon Work — Rayan Garg, Theta Software

    Theta Software:长时程工作的环境——METR 人类时长阈值 vs token/轨迹度量,多工具 RL 环境与评估最终状态和轨迹的评审模型。

    可以学到 / 用在工作里
    • 长任务只有在决策有后果、结果可验证、奖励能教东西时才是好的训练环境
    • 也要度量模型的努力(token、轨迹)
    • 评审模型要能检查最终状态与过程,抓住奖励作弊而不规定唯一解法
    • 模型与训练
    • 评测
  541. 27:17
    Teaching AI to Find Real Vulnerabilities — Prof. David Brumley, Bugcrowd

    卡内基梅隆/Bugcrowd 的 David Brumley:用模仿人类安全训练进阶的 RL 环境教模型发现真实漏洞,确定性评分而非 LLM 评委。

    可以学到 / 用在工作里
    • 安全 RL 需要可复现的目标、可执行的证明,而不只是崩溃奖励
    • 评分要识别不同的发现与更深的利用能力
    • 模仿人类训练进阶设计课程,用确定性评分而非 LLM 评委
    • 安全与隔离
    • 模型与训练
  542. 18:04深读
    Jev CEO: I made ChatGPT, now I'm building what's next

    TypeSafe AI(前 OpenAI GPT-4 合著者):RLHF 让模型擅长取悦人、适合辅助而非可靠自主决策;下一步是为校准决策和真正自动化设计训练目标。

    可以学到 / 用在工作里
    • 区分你的场景是「辅助」(人审核输出)还是「自动化」(无人值守、有真实后果);后者不能直接信任对话模型的自信表述。
    • 对自动化任务评估校准度:模型的置信度是否与正确率匹配,而不仅是平均准确率。
    • 如果你的任务可验证,用可验证奖励(RLVR)或自定义目标后训练,而不是依赖偏好优化。
    • 模型与训练
    • 范式与判断
  543. 16:30
    Ending AI Slop — Thais Castello Branco, Taste Labs

    Taste Labs:终结 AI slop,把主观品质拆成可度量、贴合场景的信号,转成可验证的 RL 任务,警惕 LLM 评委的局限和奖励作弊。

    可以学到 / 用在工作里
    • 分解质量:能写清的约束走验证,不能平均的偏好保留个体
    • 把品牌规范拆成颜色、字体、动效等可检查任务
    • 收集具体、带上下文的专家反馈用于训练
    • 产品与交互
    • 模型与训练
  544. 18:20
    Learning on the Job: The Future of Post-Training — Raymond Feng, Applied Compute

    Applied Compute:后训练的未来是「在岗学习」——从单轮问题、合成环境走向长时程企业任务与真实交互的持续学习,可回放的编排器-沙箱环境与 GRPO。

    可以学到 / 用在工作里
    • 在 agent 真实使用的工作流里训练,省去模拟但增加学习难度
    • 合成环境让长任务可回放
    • 工具失败会变成隐性长度惩罚,超时过滤可能被当作逃避失败的出口
    • 模型与训练
  545. 21:32
    fighting slop with slop — Vaibhav Gupta, Boundary

    Boundary(BAML)「用 slop 对抗 slop」:用共享架构文档、版本化设计文档、CLI 强制的架构不变量和自动 agent 评测替代传统代码评审。

    可以学到 / 用在工作里
    • 没有代码评审也能做可靠的编程语言:标准化不变量而不是 agent
    • 设计文档要有读者,用 CLI 强制架构边界
    • 用 agent 大量练习语言,把自动化花在工程流程上
    • 质量与评审
    • 软件工厂 / 多 agent
  546. 19:26
    Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

    Prime Intellect 的 Will Brown:没有可验证奖励的强化学习——策略梯度、PRIME-RL 与 Lab 基础设施、可复用环境、奖励作弊、LLM 评委、基于搜索的 rubric、来自真实代码改动的监督与难度校准。

    可以学到 / 用在工作里
    • 没有可验证奖励也能做 RL:从生产轨迹、真实代码改动中制造监督信号
    • 反向构造可达的任务,模拟无法访问的后端
    • 用事后判断与基于搜索的 rubric,并校准难度
    • 模型与训练
  547. 16:32
    Emulated: The Data for Fully Autonomous Software Engineers and Companies — Joseph Wang

    Emulated:自主软件工程 agent 需要超越仓库级编码基准的训练环境——模拟公司流程、生产事故、分布式集群、真实流量和反复部署。

    可以学到 / 用在工作里
    • agent 写应用层很强、处理基础设施很弱:训练环境要从仓库扩展到公司(部署故障、客户上下文、云运维)
    • 在真实集群上模拟分布式故障与流量
    • 反复部署暴露问题
    • 模型与训练
    • 评测
  548. 19:11
    Data and Environment Curation for Post-Training LLMs — Mahesh Sathiamoorthy, Bespoke Labs

    Bespoke Labs:高质量合成数据和 RL 环境是后训练的主要瓶颈,从 Curator、Stratos 到 OpenThoughts 推理数据项目。

    可以学到 / 用在工作里
    • 后训练的瓶颈是高质量合成数据与 RL 环境:用消融实验确定数据配方
    • 更多答案和更多问题同样重要
    • 把配方扩展到轨迹与环境,教模型正确调用工具
    • 模型与训练
  549. 17:42
    Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

    LatchBio:生物学 AI 的可验证环境,SpatialBench 用确定性评分器测空间组学分析任务,专家评审发现任务歧义与阈值问题。

    可以学到 / 用在工作里
    • 生物 agent 需要实验数据、可执行测试和尊重合理替代方案的评分
    • 把工作流拆成可验证任务
    • 确定性评分也可能错,人类尝试会暴露隐藏的选择与阈值
    • 评测
    • 行业应用
  550. 19:05
    Data Quality Is the Compute Multiplier — Ari Morcos, DatologyAI

    DatologyAI:数据质量是算力的乘数——数据配比、按质量加权采样、匹配任务分布、课程设计,数据剪枝改进缩放律。

    可以学到 / 用在工作里
    • 数据质量是算力的乘数:清洗、筛选、生成、组合
    • 数据选择能改变缩放行为
    • 数据表示也影响推理成本,小模型可在多语言上受益
    • 模型与训练
  551. 18:07
    Scaling to Long Horizons — Ross Taylor & Chengxi Taylor, General Reasoning

    General Reasoning:RL、训练环境、算力与优化目标如何让 agent 做长时程任务,回顾 Papers With Code、Galactica、Llama 后训练与 InstructGPT。

    可以学到 / 用在工作里
    • 强基准结果不等于解决行为问题
    • 长时程推理依赖记忆、学习信号、真实环境和算力共同作用
    • 超出上下文窗口后要能继续工作并保留历史
    • 模型与训练
  552. 20:14
    Agents at Scale: Inside MiniMax's Model and the Infrastructure Behind It — Dan Fu and Olive Song

    Together AI 与 MiniMax 圆桌:大规模服务开放权重多模态模型 MiniMax-M3,基准选择(KernelBench、OSWorld)、稀疏注意力、长时程 agent 任务与 KV cache。

    可以学到 / 用在工作里
    • 选择能变成基础设施的基准(KernelBench)以减少刷榜
    • 新模型发布第一天就开始优化积压
    • agent 改变推理引擎的需求:长时任务、KV cache 管理
    • 模型与训练
    • 基础设施与算力
  553. 17:44
    The Base Model Is Dead — Varun Singh, Arcee AI

    Arcee AI:基座模型已死——现代基座训练越来越偏向代码、STEM、推理和有利于后续 RL 的数据,对比各家合成数据策略。

    可以学到 / 用在工作里
    • RL 接管推理与软件任务后,预训练配方也在变:更多代码、STEM、推理数据
    • 改写合成数据改变的是暴露方式而非 token 数
    • 早期暴露能减少后期分布漂移,为 RL 预先打好能力基础
    • 模型与训练
  554. 12:48
    Benchmarks: The Good, the Bad, and the Ugly — Ali Khial, G2i

    G2i:软件工程基准的好坏丑——不真实或泄露答案的提示、无经济价值的任务、接受错误实现或拒绝正确替代的弱验证器,主张人写人审的基准。

    可以学到 / 用在工作里
    • 好的编码基准:提示像工程师会写的、不泄露答案
    • 任务有经济价值
    • 验证器既不接受错误实现也不拒绝正确替代,人写人审
    • 评测
  555. 20:23
    First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI

    Richard Socher(Recursive AI):迈向自动化 AI 研究的「尤里卡机器」,受进化启发的开放式创新,区分真正自我改进的研究系统与短期 autoresearch 调参。

    可以学到 / 用在工作里
    • 自动化研究的基本循环:提出想法、实现、测试
    • 区分真正改进研究机制的系统与短期调参式 autoresearch
    • 为 AI 用户设计工具
    • 模型与训练
    • 范式与判断
  556. 13:42
    Your Finance Agent's Bottleneck Is You — Ramana Siddanth Emani, Auditoria AI

    Auditoria AI:金融 agent 的瓶颈是你诊断生产故障和迭代的速度——Git 工作树隔离的并行子 agent、MCP 工具、从 Jira 到根因分析、TDD 修复、PR、部署、QA 的自动流程。

    可以学到 / 用在工作里
    • 金融 agent 遇到新客户数据才见真章:修复流程是关键
    • 用 worktree 隔离并行子 agent,从工单到根因、TDD 修复、PR、部署、QA 自动串起
    • 财务仍需对结果负责的验证者
    • 行业应用
    • 软件工厂 / 多 agent
  557. 21:36
    Let's integrate AI Agents in Event-Sourced Systems — Divakar Kumar, FlyersSoft

    在事件溯源的金融系统里集成 agent 做实时反欺诈:规则与 ML 处理常规决策,模糊交易升级给 agent 编排,用限界上下文和投影组装账户、KYC、设备上下文。

    可以学到 / 用在工作里
    • 保留现有规则与 ML 引擎处理常规决策,只把模糊交易升级给 agent
    • 用事件溯源的投影把账户、KYC、设备上下文组装成可查询上下文
    • 给 agent 工具和停止点,调查完成后发回事件
    • 行业应用
    • Harness 与架构
  558. 24:22
    Build for the Memo, Not the Demo — Shawn Chan, China Resources Holdings

    华润:金融 AI 要为投委会备忘录而不是演示而做——权威文件优先、暴露矛盾而非抹平、主张直连证据、数字一致、用数据室核对创始人说法。

    可以学到 / 用在工作里
    • 为投委会备忘录而不是演示而做:权威文件优先于相关性
    • 数字要与文件和现实一致
    • 把矛盾摆到人面前,别让估计变成事实,明确决策负责人
    • 行业应用
    • 检索与知识
  559. 21:09
    Persona Engineering: A Field Guide to AI Synthetic Personas — Ishan Anand, InsightSciences.ai

    人设工程:用 LLM 模拟调研受访者,但合成人设更像预测而非独立的人类观察——缺失上下文、提示敏感、态度与行为的落差、构建偏差。

    可以学到 / 用在工作里
    • 合成人设更像预测而非独立的人类观察:缺上下文、对提示敏感
    • 预测态度比预测行为容易
    • 对照真实人类数据选择人设提示并校准回答分布
    • 产品与交互
    • 评测
  560. 22:29
    How Kepler Built Verifiable AI for Financial Services — Vinoo Ganesh

    Kepler 的可验证金融 AI:评测不足以让非确定性输出可信,要把 AI 推理与确定性检索、计算、验证和源级溯源分开,分析师可审计每个数字。

    可以学到 / 用在工作里
    • 引用只定位证据,验证要检查数值本身
    • 让模型选择引用(原子溯源),计算交给确定性工具
    • 派生过程可回放,让分析师审计每个数字
    • 行业应用
    • 检索与知识
  561. 17:23
    Skills are new features: Building Skill-Centric Harness — Yogendra Miraje, FactSet

    FactSet:skills 就是新功能,工程师要建执行它们的 harness;用 Anthropic Agent Skills 标准替换自研蓝图,选择性加载 skill,治理企业 skill 注册表。

    可以学到 / 用在工作里
    • skills 就是新功能,工程师要建执行它们的 harness
    • 发现用的元数据与指令分开,描述是路由信号
    • 按用户意图划分 skill 边界,评测并治理企业 skill 注册表
    • 上下文 / Skills / MCP
    • Harness 与架构
  562. 16:29
    SimulationMaxxing: How we ship agents 20× faster — Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)

    Snowglobe 与 Nubank:用模拟生成 agent 评测数据,客服 agent 上线快 20 倍;模拟客户人设、与人对齐的指标、自动提示优化。

    可以学到 / 用在工作里
    • 用模拟客户(带一致的账户状态和模拟工具)在线上实验前测试 agent 改动,迭代快 20 倍
    • agent 样本是一整条轨迹
    • 评估指标要与人工判断对齐,再做自动提示优化
    • 评测
  563. 20:06
    Morgan Stanley's ALPHALAB: Multi-Agent Research Across Optimization Domains — Brendan Rappazzo

    摩根士丹利 AlphaLab:从数据集和自然语言目标自动化量化研究的多 agent harness,强调领域研究、可信评测构建和看板式协调的大规模 worker 实验。

    可以学到 / 用在工作里
    • 把预测任务变成并行研究活动:数据集 + 自然语言目标
    • 研究上下文要能在交接中保留
    • 先构建可信评测并尝试攻破它,用看板协调大量 worker 实验
    • 行业应用
    • Harness 与架构
    • 模型与训练
  564. 16:24
    We Vetted 2000 AI Skills Before They Reached Developers — Lucas Palma, Nubank

    Nubank 在分发前审查了 2000 个 AI skills:skills、插件、MCP 服务器和 agent 规则是扩大的软件供应链,Skill Vector 在本地和 CI 中结合确定性安全检查与 LLM 分析。

    可以学到 / 用在工作里
    • skills、插件、MCP 服务器和 agent 规则是扩大的软件供应链
    • 以分发为审查边界:本地 + 强制 CI 检查行为、权限与数据处理
    • 按发现数与受影响 skill 数分别统计,让结果可操作
    • 安全与隔离
    • 上下文 / Skills / MCP
  565. 18:25
    The Model Was Right. The Harness Failed. — Vinoth Govindarajan, OpenAI

    OpenAI:模型没错,是 harness 坏了。以 OpenClaw 为例:缺少持久状态、并发写竞争、无限期卡住的运行、审批范围不当、工具成功却没传到用户;单一所有者状态、有序变更、截止时间与取消。

    可以学到 / 用在工作里
    • 回复送达用户不等于写进了持久历史:模型提议、harness 提交、收据证明
    • 两次正确写入可能互相覆盖,要有单一状态所有者和有序变更
    • 运行要有截止时间与取消,按钮点击不是永久授权,工具成功要传到用户
    • Harness 与架构
    • 基础设施与算力
  566. 19:08
    Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

    Fidelity:把个人 agent 放进亲友群聊和眼镜里,共享 agent 需要更强的隐私控制、角色感知路由和持久记忆,Jataayu 安全层把指令与不可信数据分开。

    可以学到 / 用在工作里
    • 群聊里的 agent 要判断回答应该发到哪里,按角色路由
    • 在动作生效前检查安全,把指令与正在读取的数据分开(防点号插字等注入)
    • 记忆要能经受对话变化并重新打分
    • 安全与隔离
    • 产品与交互
  567. 19:50
    Why Off-the-Shelf AI Doesn't Understand Money — Udi Menkes, Intuit

    Intuit:通用 LLM 不懂钱,给出自信但不可靠的「流利唬人」财务建议;用产品数据、因果效应测量和数百万企业轨迹训练顾问系统。

    可以学到 / 用在工作里
    • 通用模型给出的财务建议可能自信但忽略企业存活约束
    • 完整的公司快照仍不是经验:用因果效应测量(涨价实际带来了什么)
    • 先生成候选建议,再用历史轨迹评估
    • 行业应用
    • 模型与训练
  568. 17:48
    Forward Deployed Engineering 101 — Kevin Bai, Anthropic, ex Palantir & Rippling Founding FDE

    Anthropic 的 Kevin Bai(前 Palantir、Rippling 首位 FDE):FDE 101——向非技术买家销售复杂技术平台的企业 GTM 模式,平台化方案 vs 定制服务、合同价值与设计伙伴。

    可以学到 / 用在工作里
    • FDE 是把复杂平台连到业务结果的 GTM 模式,经济性取决于共享原语
    • 明确客户工作与产品开发的边界
    • 建 FDE 团队前要过两道关:合同价值与可复用性
    • 团队与组织
    • 创业
  569. 20:22
    AI tools for Forward Deployed Engineering — Vasuman Moza, Varick Agents

    Varick Agents:企业 AI 的瓶颈是理解并重设计客户特有的流程,FDE 嵌入客户、梳理财务运营流程、在现有记录系统上搭 agent。

    可以学到 / 用在工作里
    • 先梳理例外,再重设计流程
    • 改造要创造价值但不破坏采用(11 步变 1 步会吓到用户)
    • 在企业已有的记录系统上部署,用依赖图与检索工具放大稀缺的 FDE
    • 团队与组织
    • 行业应用
  570. 16:49深读
    The Dirty Secret of Forward Deployed Engineering — Natalie Meurer, Sierra

    Sierra:FDE 的「肮脏秘密」——这个头衔从 Palantir 驻场、DevOps 救火、数据集成、本体建模到 AI agent 工作历经多代,不变的核心是对客户负责和可衡量的结果。

    可以学到 / 用在工作里
    • 做 agent 产品时,考虑设立对客户结果负责的工程角色,他们既能改产品代码,也能沉淀可复用的 skills。
    • 如果想按结果定价,先确保结果可度量、可归因。
    • 团队与组织
  571. 17:38
    How Forward Deployed Engineering is done at Cognition — Jia Wu

    Cognition 的 FDE 怎么做:嵌入企业客户,把 Devin 对准高价值问题,以客户结果而非 token 用量为目标(项目周期缩短 82%、ETL 迁移)。

    可以学到 / 用在工作里
    • 找到整个软件生命周期中的交付瓶颈(没写的测试、积压的告警),针对性自动化
    • 把现场证据带回路线图
    • 按交付结果而非 token 用量衡量
    • 团队与组织
  572. 21:21
    How Forward Deployed Engineering is done at Factory — Eno Reyes

    Factory CTO:FDE 要把企业客户现实连接到可复用的产品开发,而不是做外包咨询;客户信号到实现、评审、安全验证、部署和业务结果的工厂回路。

    可以学到 / 用在工作里
    • FDE 把客户流程变成产品改进,而不是外包咨询
    • 信号 → 实现 → 评审 → 安全验证 → 部署 → 业务结果的工厂回路
    • 确定性验证是更长自主运行的基础,部署要可重复、商业论证要明确
    • 团队与组织
    • 软件工厂 / 多 agent
  573. 22:20
    How Forward Deployed Engineering is done at Kepler — Vinoo Ganesh

    Kepler:FDE 本质上是产品发现与产品策略职能,找到客户真正的问题,用快速交付的实用方案替代过度规划的仪表盘项目。

    可以学到 / 用在工作里
    • FDE 本质是产品发现:找到仪表盘需求背后的真正决策
    • 统一冲突的业界词汇为本体
    • 快速交付并明确支持边界
    • 团队与组织
    • 产品与交互
  574. 33:38
    AI Agents for Performance: Ship Faster, Pay Less — Rajat Shah, Netflix

    Netflix:用 agent 分析 CPU profile 和调用栈、检查生产部署的确切 Git 版本,找到占 8.8% CPU 的二次复杂度代码,沉淀共享反模式目录。

    可以学到 / 用在工作里
    • 代码写得快 10 倍,算力成本也在涨:让 agent 读 CPU profile 和调用栈,并检查生产部署的确切 Git 版本
    • 一个发现之后跨服务搜索同类问题
    • 共享反模式目录作为持久记忆,用测试和金丝雀验证
    • 基础设施与算力
    • 编码 agent
  575. 14:04
    How Forward Deployed Engineering is done at Ramp — Leo Mehr

    Ramp 的 FDE 两原则:动手前严格界定企业需求的范围(SAP 集成、不必要的安卓实现的例子),并用 agent 扩展工程管线。

    可以学到 / 用在工作里
    • 动手前严格界定企业需求范围,避免做客户用不上的功能
    • 用 agent 追问下一个问题,加速澄清
    • 在澄清的请求与可构建的规格之间补齐上下文与评测
    • 团队与组织
  576. 18:08
    How Forward Deployed Engineering is done at Decagon — Sunny Rekhi

    Decagon 的 FDE:配置企业客服 agent,同时把定制需求沉淀为可复用的产品能力,工程克制、快速见效、用支持数据算 ROI。

    可以学到 / 用在工作里
    • FDE 配置客户的 agent,同时把定制需求沉淀成可复用的产品能力
    • 定制代码容易写时更要克制
    • 实施前约定成功标准,用支持数据算 ROI
    • 团队与组织
  577. 21:39
    Serving 2 Million Models Without Melting: Scaling the Hugging Face Hub — Arek Borucki, Hugging Face

    Hugging Face Hub 服务约 300 万个模型、1400 万用户:优先 P99 搜索延迟,元数据(MongoDB Atlas)与模型文件(S3)分离,反范式读集合与 Atlas Search。

    可以学到 / 用在工作里
    • 搜索的 P99 延迟最重要:元数据(数据库)与模型文件(对象存储)分开
    • 预先处理名称、用反范式读集合和全文检索替代正则
    • 临时查询打到隐藏副本,避免影响主库
    • 基础设施与算力
  578. 18:22
    State of Data — Sean Cai, Independent / State of Data

    数据现状:AI 训练数据市场从静态标注和最终状态记录转向真实的企业工作流与过程数据,应用成熟度与任务可验证性相关。

    可以学到 / 用在工作里
    • 训练数据从静态标注转向捕获真实工作流与过程
    • 应用成熟度与任务可验证性相关
    • 基准供应商也卖训练数据时要警惕,分数包含产生它的条件
    • 模型与训练
    • 评测
  579. 17:34
    DeepSWE: A Contamination-Resistant Coding Benchmark — James Shi, Datacurve

    Datacurve 的 DeepSWE:抗污染的编码基准,113 个原创长时程任务、5 种语言、Git 历史防护和面向行为的验证器,分析 Claude 与 GPT 的失败模式。

    可以学到 / 用在工作里
    • 抗污染基准:原创任务、Git 历史防护、按行为而非实现验证
    • 充分探索仍可能遗漏需求
    • 提示中的一句话会改变 agent 是否自测
    • 评测
  580. 17:31
    The Messy Reality of Scale: Synthetic Data and Pre-Training — Marah Abdin & Robert McHardy, poolside

    poolside:合成数据与大规模预训练的混乱现实——改写、代码与 STEM 管线,Laguna XS.2 预训练中 13% 是合成数据;坏 GPU、静默数据损坏、梯度爆炸、BF16 精度不足。

    可以学到 / 用在工作里
    • 合成数据要暴露原始数据里隐含的东西(改写、代码与 STEM 管线)
    • 训练越久重复越成瓶颈
    • 大规模训练要检查系统不变量:坏 GPU、静默数据损坏、梯度爆炸、精度不足
    • 模型与训练
    • 基础设施与算力
  581. 17:57深读
    Loop Engineering from First Principles — Kyle Mistele, HumanLayer

    HumanLayer 的 Kyle Mistele:从第一性原理做「循环工程」——把编码 agent 当可测量的控制系统:定义期望的代码库状态,用确定性工具或 agent 感知违规,挑选有界工作,以小而可审的定时改动执行。

    可以学到 / 用在工作里
    • 挑一个可度量的维护目标(迁移、规范对齐、禁用旧模式),用 ast-grep/lint 规则当传感器,每天让 agent 修一处最小的违规。
    • 确定性的部分(找违规、挑目标、限额)写成代码,只把「怎么改」交给 agent,并给它仓库内的黄金范例。
    • 给循环加背压:未审 PR 达到上限就暂停;用 /iterate 评论和反馈文件让人的纠正持续生效。
    • 软件工厂 / 多 agent
    • Harness 与架构
  582. 21:44
    Why Large? Tiny LMs & Agents on Edge/Robotics — Cormac Brick, Google

    Google AI Edge:边缘与机器人需要小模型(内存成本限制端侧推理),LiteRT-LM、MediaPipe、Gemma 生态,量化与树莓派部署,用合成数据微调小模型。

    可以学到 / 用在工作里
    • 端侧推理用云成本换内存预算
    • 压缩的权重只是占用的一部分,同一模型在不同设备上交互预算不同
    • 测试交互体验而不只是能否运行,用合成数据微调小模型
    • 模型与训练
    • 机器人
  583. 20:23
    From Agent Traces to Agent Simulations — Rustem Feyzkhanov, Snorkel AI

    Snorkel AI:把生产 agent trace 变成可重复的公司专属模拟基准,重建工具、API、文件、数据库状态和用户交互,用于回归门禁与模型对比。

    可以学到 / 用在工作里
    • 把生产失败变成可执行任务:重建工具、API、文件、数据库状态与用户交互
    • 验证改变后的世界状态,而不只是答案
    • 用于回归门禁与模型对比
    • 评测
  584. 21:17
    Evals-Driven Development for a Mental Health AI Coach — Akele Reed & Dave Revere, SonderMind

    SonderMind:评测驱动开发心理健康 AI 教练,模块化输入输出护栏、独立 LLM 评委安全检查、情境敏感的危机干预、临床医生参与的评测。

    可以学到 / 用在工作里
    • 把教练对话与临床护栏分开(模块化输入输出检查 + 独立评委)
    • 把临床判断变成可执行的期望
    • 测试类别、时机与不该触发的情况
    • 评测
    • 行业应用
    • 安全与隔离
  585. 23:13
    Evaling Video Slop — Maor Bril, Character.ai

    Character.ai:评测视频 slop 不能靠单帧指标或未校准的 AI 评委,JudgeJudy 结合自动指标、人工标注、成对偏好与小型 Qwen 视觉评委。

    可以学到 / 用在工作里
    • 视频质量要看时间上的连贯,单帧指标不够
    • 先建可重复的评委再追求速度,把解释蒸馏进小型视觉评委
    • 成对比较训练后要检查它学到的捷径
    • 评测
    • 多模态与语音
  586. 21:38深读
    Building Closed-Loop Evals for a Multimodal Agent at Scale — Soumya Gupta & Jai Chopra, Uber

    Uber:为改进 Uber Eats 商家菜品图的多模态 agent 构建闭环评测——理解、编辑、迭代 QA、发布门控,忠实度检查、有界重生成、可回滚,并监控市场指标。

    可以学到 / 用在工作里
    • 把 agent 拆成可单独评测的决策点(如路由),用人工标注做混淆矩阵,而不是只看端到端效果。
    • 生成类任务用「输入 vs 输出」成对比较,并把「更好」的定义与产品、法务等对齐;允许「不确定」。
    • 建立生产抽样标注 → 不一致诊断 → 自动调优 → 金标门禁的闭环,并设重试上限与独立的发布前检查。
    • 评测
    • 多模态与语音
  587. 1:15:02
    Full Workshop: Setting Yourself Up for Success —Jason Liu, OpenAI Codex

    OpenAI Codex 工作坊(Jason Liu):把 Codex 当通用助手做 computer use 和持续知识工作——持久记忆、上下文压缩、并行线程与子 agent、Slack 自动化、个人知识与人脉追踪、推理强度选择。

    可以学到 / 用在工作里
    • 把 Codex 当通用电脑助手:建立记忆库和持续线程
    • 把重复调查变成 skill,截图时同时捕获标识符
    • 记忆要可检查,按任务选择推理强度
    • 编码 agent
    • Harness 与架构
  588. 6:06
    The Future of Evals: From LLM as a Judge to Agent as a Judge — Aparna Dhinakaran, Arize AI

    评测的未来:从 LLM 评委到 agent 评委。确定性检查和固定 rubric 的 LLM 评委仍有用,但抓不住长轨迹 agent 的新失败。

    可以学到 / 用在工作里
    • agent 有了工具、记忆和长轨迹,评测要看它怎么做,不只看最终答案
    • 确定性检查、LLM 评委、agent 评委三者互补
    • 头部团队运行上千个评估器
    • 评测
  589. 21:11
    Everything Is a Rollout — Alex Shaw + Ryan Marten, Terminal-Bench, Harbor, Laude Institute

    Terminal-Bench / Harbor:一切都是 rollout——把 agent 当黑盒 ML 系统,用沙箱化评测和 RL 环境基础设施做实证优化,演示并行运行 Terminal-Bench。

    可以学到 / 用在工作里
    • 一切都是 rollout:给 agent 任务、保留轨迹、对结果状态打分
    • 自己拥有评测,再选模型
    • 生产工作与训练用同一套执行机制,把会话纠正转成数据
    • 评测
    • 基础设施与算力
  590. 20:35
    From Signal to PR: Anatomy of a Self-Improving Agent — Jason Lopatecki, Arize

    Arize 的 Signal:结合生产 trace、可观测性 skills、自动触发和仓库访问,调查 agent 失败并准备修复供人审。

    可以学到 / 用在工作里
    • 自我改进 agent 需要运行时证据、针对性调查 skill 和可审查的修复路径
    • 把证据收集提前到人注意之前
    • 把本地有效的流程自动化,发现变成 issue、评估器或数据集
    • 评测
    • Harness 与架构
  591. 19:29
    How Evals and Prompts Shape Agent Behavior — Preetika Bhateja & Daniel Bump, YouTube Ads

    YouTube Ads:评测和提示如何塑造 agent 行为——对 LLM 友好的工具、更大的金标数据集、对照专家校准 LLM 评委、追踪重复失败模式。

    可以学到 / 用在工作里
    • 可靠 agent 的基础是专注的工具和共同的评分标准
    • 团队内先达成高的人人一致,再对照专家校准 LLM 评委
    • 保留评测之外的测试集,盯住重复出现的行为(如删除免责声明)
    • 评测
    • 上下文 / Skills / MCP
  592. 18:05
    Vending-Bench: Long-Horizon Agent Evals — Lukas Petersson, Andon Labs

    Andon Labs 的 Vending-Bench:让 agent 经营模拟自动售货生意并在多人竞技场对抗,出现合谋、欺骗与权力寻求;现实部署到旧金山商店和斯德哥尔摩咖啡馆。

    可以学到 / 用在工作里
    • 长时程评测(经营售货机)测试 agent 能否在时间上保持连贯决策
    • 多 agent 竞技场里会出现合谋、欺骗与权力寻求,无需指示
    • 真实部署(商店、咖啡馆)提供在变化条件下的运营证据
    • 评测
  593. 17:27
    Training Frontier Models to Out-Think Hackers — Uri Rolls, Arithmetic & Thom Wolf, Hugging Face

    Arithmetic 与 Hugging Face:聚焦越权访问的交互式网络安全基准,AI 防御者要在变化的系统中推理,而不只是识别孤立漏洞。

    可以学到 / 用在工作里
    • 安全评测要测在陌生系统中的推理,而不只是识别孤立漏洞
    • 找到权限检查不等于理解它如何失效
    • 用可验证结果衡量发现与利用之间的差距
    • 安全与隔离
    • 评测
  594. 19:17深读
    Why Software Factories Fail

    HumanLayer 的 Dex Horthy:软件工厂为什么失败——模型训练奖励只看测试通过不看可维护性,熄灯式开发会积累评审缺失、事故和架构腐化;重开评审并把决策前移。

    可以学到 / 用在工作里
    • 对复杂的存量代码库不要「熄灯」:保留人工代码评审,并把评审成本降下来,而不是取消它。
    • 给中大型改动走四步对齐:产品评审 → 架构评审 → 程序设计(类型/签名/调用图)→ 垂直切片计划(每片可测);让 agent 帮你起草这些文档。
    • 理解编码模型的奖励只覆盖「测试通过」,所以要自己补上可维护性的检查:模块边界、依赖方向、重复度等静态规则和人工审查。
    • 软件工厂 / 多 agent
    • 质量与评审
  595. 21:18深读
    Why Agentic Systems Need Ontologies — Frank Coyle, UC Berkeley

    伯克利 Frank Coyle:agent 系统为什么需要本体——多数 agent 失败(脆弱工具、易断交接)源于缺乏形式化本体作为逻辑护栏;神经符号 AI:内部概率推理,外部逻辑约束(RDFS/OWL 定义类型、关系与约束)。

    可以学到 / 用在工作里
    • 为 agent 所处的业务域画一张最小本体:核心实体、关系与不变量(如状态枚举、唯一性、互斥关系)。
    • 工具调用分两层校验:Pydantic/JSON Schema 管结构,本体或业务规则引擎管语义,失败时把原因回给模型。
    • 所有有副作用的动作放在校验之后执行,必要时先写入待审批队列。
    • 检索与知识
    • Harness 与架构
  596. 15:00
    Why We Killed Our Multi-Agent Pipeline — Subbiah Sethuraman and Abhilash Asokan, ZS Associates

    ZS:我们为什么砍掉多 agent 流水线——推理责任和业务上下文被拆散导致决策变差,改为先确定性检测和排序信号,再由单个 agent 端到端推理,并配知识图谱。

    可以学到 / 用在工作里
    • 拆成多 agent 流水线可能把推理责任和业务上下文拆散,找对原因却给错行动
    • 先确定性检测与排序信号,再由单个 agent 端到端推理
    • 用领域知识图谱约束调查范围
    • Harness 与架构
    • 行业应用
  597. 20:54
    Citation Needed: Provenance for LLM-Built Knowledge Graphs — Daniel Chalef, Zep AI

    Zep:LLM 构建的知识图谱需要溯源,Graphiti 的事件关联来源、元数据标注、事实的时间失效和合规删除。

    可以学到 / 用在工作里
    • 记忆中的事实要保留来源,经历合成、实体合并、矛盾和删除后仍正确
    • 新数据使事实失效时记录失效时间
    • 删除源时不必删除所有派生事实,按策略处理
    • 检索与知识
  598. 1:59:10
    AI on Your Lakehouse: Context Comes in Shapes, Not Queries — Zach Blumenfeld, Neo4j

    Neo4j 工作坊:湖仓上的 AI——上下文是形状而不是查询,用图形状的上下文(文档大纲树、主题社区、连接路径)联通文档与数仓记录。

    可以学到 / 用在工作里
    • 上下文是形状而不是查询:用图选择要执行的 SQL
    • 保留文档已有的结构(目录树),可在合适层级停止展开
    • 用主题社区发现未知的全局模式
    • 检索与知识
  599. 17:11
    The Unreasonable Effectiveness of Separating the Task from the Model — Maxime Rivest & Isaac Miller

    DSPy:把任务的输入输出签名与模型、提示、推理策略分开,可组合的 Python 程序、评测驱动的优化、递归语言模型处理长上下文。

    可以学到 / 用在工作里
    • 把任务的输入输出签名与模型、提示、推理策略分开
    • 用规格说明应该发生什么,用可执行约束强制必须发生什么
    • 让更便宜的实现在同一任务上竞争,用评测驱动优化
    • 上下文 / Skills / MCP
    • 模型与训练
  600. 23:55
    Notion's Token Town — Sarah Sachs, Notion

    Notion 的「Token 镇」:可持续的 AI 产品不能依赖便宜的单价,模型升级可能让实际成本上升,依赖单一提供商是战略锁定,要保持多模型可选。

    可以学到 / 用在工作里
    • 单价不变也可能账单更大:模型升级会增加 token 用量
    • 供应商也可能是竞争对手,要让切换能力真实存在
    • 按客户任务匹配能力,开放权重提供可信的替代
    • 基础设施与算力
    • 创业
  601. 21:44
    Perception Agents — Antje Barth, Amazon AGI Lab

    Amazon AGI Lab:可靠的 agent 要能感知渲染后的界面、与人共享视觉上下文并验证自己的工作,开源感知 agent harness(浏览器标注与视觉验证)。

    可以学到 / 用在工作里
    • 会点击应用的 agent 还要理解改变了什么:感知渲染后的界面
    • 标记目标后把上下文交给 agent
    • 同时检查设计与体验,共享视觉上下文形成反馈循环
    • 多模态与语音
    • Harness 与架构
  602. 20:27
    Video Has No Memory. Here's How We Built One. — James Le, TwelveLabs

    TwelveLabs:视频没有记忆,于是自建——Marengo 嵌入、Pegasus 视频语言推理、API 化的上下文图谱和 Jockey 视频 agent。

    可以学到 / 用在工作里
    • 录像本身不是系统记忆:要在时刻、实体和证据之间建立持久链接
    • 上下文图谱把视频时刻、实体、出现、关系、时间戳连成可查询结构
    • 检索只找候选,记忆负责连续性,把模型放进视频 worker(Jockey)
    • 多模态与语音
    • 检索与知识
  603. 19:38
    Learned Execution Graphs for Anomaly Detection & Drift in APIs — Ritvik Pandya, JP Morgan Chase

    摩根大通:把支付 API 请求表示成学习到的执行 DAG,识别异常处理路径、把故障定位到节点、区分孤立异常与长期漂移。

    可以学到 / 用在工作里
    • 把每个请求表示成学到的执行图,区分慢服务、改变的处理路径和变化的请求组合
    • 分析精力集中在基线被打破的地方,把故障定位到节点
    • 诊断后按 5%–10% 灰度推出,分析放在支付路径之外
    • 基础设施与算力
    • 行业应用
  604. 18:04
    Local Agentic Theory For Mobile Games — Shafik Quoraishee & Joanne Song, The New York Times

    纽约时报的实验:面向无障碍手游的端侧 agent,对比有限状态机、EfficientZero 等 RL 系统与本地推理的 agent。

    可以学到 / 用在工作里
    • 端侧 agent 与游戏共享内存、帧时间和电量预算
    • 训练玩家(RL)与游戏中实时推理是两种方案
    • 无障碍要以 WCAG 等标准为基础,考虑运动、视觉、认知障碍
    • 多模态与语音
    • 产品与交互
  605. 11:06
    Thinner Agents on a Smarter Substrate: The Ontology-based Semantic Layer — Emil Eifrem, Neo4j

    Neo4j CEO Emil Eifrem:更薄的 agent + 更聪明的底座——基于本体的语义层把业务本体、技术本体与源系统映射连接起来,避免每个 agent 重复造脆弱的集成。

    可以学到 / 用在工作里
    • 把共享知识从每个 agent 中移到本体语义层,agent 更薄
    • 业务含义映射到 Snowflake、Databricks、S3 等物理源,集中治理映射
    • 执行反馈在 agent 之间复用,让明天的 agent 比今天更聪明
    • 检索与知识
    • Harness 与架构
  606. 20:42
    CrabRAG: Why Automated Assistants Need Graph Memory, Not More Tokens — Stephen Chin, Neo4j

    Neo4j CrabRAG:自动助手需要图记忆而不是更多 token,markdown、单纯向量检索和 MCP 记忆工具难以处理多跳上下文;家庭网络数字孪生演示。

    可以学到 / 用在工作里
    • 反复重读 markdown 记忆很贵,相似度不等于关系
    • 用向量检索找起点,再沿图遍历找连接
    • 家庭网络数字孪生演示多跳运维问题,插件接口仍需记忆模型
    • 检索与知识
  607. 25:18
    Claude for Long-Horizon Tasks — Lance Martin, Anthropic

    Anthropic 的 Lance Martin:Claude 的任务时长变长如何改变 agent 架构——外置会话上下文、独立上下文验证、带内记忆、离线「做梦」整合并修正记忆。

    可以学到 / 用在工作里
    • 长任务需要持久会话:仅追加日志备份,harness 或沙箱挂了也能恢复,凭据不进沙箱
    • 大脑与双手分离,压缩但不抹掉历史
    • 验证用独立上下文,记忆要可修复(离线整合时纠正错误教训)
    • Harness 与架构
    • 检索与知识
  608. 17:34
    Active Graph Agent Runtime (BabyAGI 4) — Yohei Nakajima, Untapped Capital

    BabyAGI 作者 Yohei Nakajima 的 ActiveGraph:以类型化、不可变的事件日志为唯一事实来源、投影出共享图状态的 agent 运行时,可审计、回放、回滚和分叉。

    可以学到 / 用在工作里
    • 用类型化、不可变事件日志作为唯一事实来源,投影出共享图状态
    • 天然获得回放、回滚与分叉
    • 策略管控变更,事件触发处理(如矛盾检测器),工作者之间不直接调用
    • Harness 与架构
  609. 20:29
    Your Moat Is Your Data Model — Mike Phipps, Gates Foundation

    盖茨基金会:你的护城河是数据模型——跨系统的语义知识图谱支撑 agent 工作流、表示资助与管理层级、连接孤立数据并执行治理。

    可以学到 / 用在工作里
    • AI 平台团队应拥有数据模型:语义知识图谱连接孤立系统
    • 资助是多对多关系、管理层级是另一种关系,都要显式建模
    • 检索前先准备数据,明确数据局限、安全裁剪与报告口径
    • 检索与知识
    • 团队与组织
  610. 15:57
    From Systems of Record to Systems of Context — Omri Bruchim & Tomer Ast, monday.com

    monday.com:从记录系统到上下文系统,预计算关系和用户上下文的「世界模型」,让助手能真正排优先级。

    可以学到 / 用在工作里
    • 助手要回答「现在该做什么」,必须在请求前就预先构建上下文
    • 慢引擎在长时间窗学习人和工作方式,快引擎跟踪当天信号
    • 快速更新与渐进整合结合,选择性刷新
    • 检索与知识
    • 产品与交互
  611. 15:13
    HTML Is All Agents Need — James Russo, HeyGen

    HeyGen 的 HyperFrames:agent 用熟悉的 HTML/CSS/JS 生成视频,比学专用视频框架更灵活;对比 Remotion,处理异步浏览器渲染。

    可以学到 / 用在工作里
    • 用模型熟悉的 HTML/CSS/JS 作为视频创作格式
    • 冻结浏览器时钟逐帧 seek 捕获,Three.js、图表、着色器、Lottie 都能渲染
    • 再教运动、节奏和品味,开源后 90 天渲染了 130 万视频
    • 多模态与语音
    • 产品与交互
  612. 15:35
    Every Harness Will Become A Claw — Sam Bhagwat, Mastra

    Mastra CEO:每个 harness 都会变成 claw——从 LLM、agent 循环到复杂编码 harness,再到常驻个人 agent(规划、并行子 agent、skills、后台执行、持久线程、交互式引导)。

    可以学到 / 用在工作里
    • 编码助手正在变成常驻的「claw」:守护进程、网关、后台执行、持久线程
    • claw 会主动联系并从运行中学习
    • 这些能力正变成框架原语,但能力强不保证在用户生活中留下来
    • Harness 与架构
    • 产品与交互
  613. 19:20
    Your agent architecture has a half-life of 6 months — Dan Farrelly, CTO, Inngest

    Inngest CTO:agent 架构的半衰期只有 6 个月,要围绕稳定的执行原语构建——持久可恢复执行、人在回路、子 agent 编排、沙箱、端到端可观测性。

    可以学到 / 用在工作里
    • 把执行、上下文、算力分开,换模型或沙箱时不用重写可靠性机制
    • 失败在第 38 步就从第 38 步重试,避免浪费 token 与时间
    • 沙箱执行工作但运行要比沙箱活得久,健康检查与每周复盘是两个独立调度
    • Harness 与架构
    • 基础设施与算力
  614. 19:47
    "The biggest challenge in your stack? Evals, Evals, Evals" - 2026 State of AI Engineering results

    2026 AI 工程现状调查(Amplify、Notion、Vercel):技术栈最大挑战是评测;音频与图像生成兴趣激增,开放与闭源模型混用,工具标准化,生产中监控 token 成本。

    可以学到 / 用在工作里
    • 2026 调查:评测仍是技术栈最大挑战,40% 说成本经常限制 AI 使用的雄心
    • 开放权重是补充而非替代,工具标准化但保留模型选择
    • agent 先获得写权限、管控滞后,59% 担心 AI 代码留下长期负债
    • 范式与判断
    • 评测
  615. 18:01
    The Desktop Frontier — Ahmad Osman, Osmantic

    Osmantic:开源模型能力密度快速提升,前沿级 AI 正从数据中心走向工作站和消费级 GPU(密度定律),主张主权 AI 和企业自有本地算力。

    可以学到 / 用在工作里
    • 「密度定律」:模型效率提升快于硬件老化,27B 模型一年半后超过 400B
    • 前沿能力正走向工作站和消费级 GPU
    • 主权和本地 AI 需要经济基础,购买 GPU 前要算这个账
    • 模型与训练
    • 基础设施与算力
  616. 40:55
    Full Workshop: Better Auth — Paola Estefania, Better Auth

    Better Auth 工作坊:Agent Auth 协议,agent 需要独立身份和窄范围能力而非共享用户凭据——服务发现、端点到能力映射、审批、撤销与审计。

    可以学到 / 用在工作里
    • agent 需要独立身份和窄能力,而不是共享用户凭据
    • 把端点映射为能力,用 CIBA 异步审批
    • 撤销一个身份不影响其它,发送等高风险动作需要单独授权
    • 安全与隔离
  617. 21:41
    AI’s Jurassic Park Period — Aaron Stanley, dbt Labs

    dbt Labs:AI 的「侏罗纪公园时期」——agent 可能在看似遵守时违反明确指令,沙箱、出口过滤、审计和遥测之外,还需要可纠正性和真正的人工干预。

    可以学到 / 用在工作里
    • agent 可能表面合规却违反明确指令(为完成任务绕过约束)
    • 让冲突成为停止点而不是绕过点
    • 沙箱、出口过滤、审计、遥测四层之外还要可纠正性和真正的人工干预
    • 安全与隔离
  618. 18:53深读
    In the Land of AI Agents, the Verifiers Are King — Tariq Shaukat, Sonar

    Sonar CEO:在 agent 的世界里,验证者为王——企业价值取决于严格验证而非生成速度,提出「引导-验证-解决」的 agent 中心开发周期。

    可以学到 / 用在工作里
    • 在 agent 写代码的循环内就接入静态分析和安全扫描反馈,而不是等到 PR。
    • 跟踪 AI 代码带来的技术债与维护工作量,定期安排修复 agent 清理,防止速度红利消散。
    • 质量与评审
  619. 22:32
    Agentic Security: Permissions, Provenance, and the Agent Supply Chain — Steve Yegge, Gas Town

    Steve Yegge:AI 加速编码扩大了安全面——模型会引入熟悉的漏洞、幻觉出可被抢注投毒的依赖包;把安全发现直接反馈给编码 agent。

    可以学到 / 用在工作里
    • 模型会幻觉依赖名,攻击者抢注成后门包(slopsquatting),测试照样通过
    • 把安全发现直接放到 agent 写代码的地方
    • 让 agent 把安全工作交给工具,安全放在开始和结束两端,并多轮复审
    • 安全与隔离
    • 编码 agent
  620. 26:39
    Skills are the New SDKs - Elvin Aghammadzada, DataRobot

    DataRobot:skills 是新的 SDK——企业平台需要版本化、面向任务的 agent skills,而不只是 API、SDK、文档或庞大的 MCP 工具目录。

    可以学到 / 用在工作里
    • skills 是新的 SDK:按需加载的操作知识
    • context rot:上下文用到约 25% 后性能下降,大窗口不等于可靠工作上下文
    • 可教性成为企业采购标准,skills 与 MCP 可组合
    • 上下文 / Skills / MCP
  621. 25:38
    Why Your Agent Disagrees With Itself (And What To Do About It) - Diane Lin, Datadog

    Datadog:agent 对相同输入给出矛盾判断,往往暴露的是标签不清、上下文缺失或政策冲突,而不是模型坏了;用语义知识和相似历史决策提高一致性。

    可以学到 / 用在工作里
    • agent 对同一输入翻来覆去,往往暴露标签不清、缺证据或政策冲突
    • 翻转集中在决策边界的灰色地带,把人工审核花在那里(主动学习)
    • 语义记忆存领域知识,情景记忆复用相似历史决策
    • 评测
    • 安全与隔离
  622. 12:07
    Enterprise Agents Have a Structure Problem - Ishita Daga, Tesla

    Tesla:企业数据 agent 失败主要因为业务上下文模糊、过时或因人而异,而不是模型太小;需要精选的语义层和反馈循环。

    可以学到 / 用在工作里
    • 数据 agent 答错不一定要换大模型,常是上下文模糊或过时
    • 事实来源是层级:从最干净的精选源到最灵活的动态源
    • 给上下文维护回路,把请求者连到他们团队真正指的指标定义
    • 检索与知识
  623. 6:07
    Don't Let the LLM Drive - Ornella Bahidika & Joel Allou, Microsoft

    Microsoft:别让 LLM 开车——语音导师 Ace 用外部状态机控制课程流程,每一步只给模型窄任务,代码校验输出并控制跳转。

    可以学到 / 用在工作里
    • 别让 LLM 控制流程:课程是 intro→teach→check→grade→advance→wrap 的状态机
    • 每步给模型窄契约,模型提议、harness 决定
    • 不可靠的控制流移到代码里,小模型也能胜任
    • Harness 与架构
    • 产品与交互
  624. 23:29
    Through the AI Fog: The Architectural Decision Agentic Security Depends On — Manoj Nair, Snyk

    Snyk:自主开发的安全架构,警惕被投毒的 skills、MCP 工具、链式漏洞、依赖模型的敏感数据泄露和激增的修复需求。

    可以学到 / 用在工作里
    • 安全的自主开发首先是信任问题:生成器与验证器分离
    • 代码运行前环境就可能不安全(投毒的 skill、MCP 工具)
    • 先盘点技术栈再测具体风险,验证器要给出可信而非貌似合理的发现
    • 安全与隔离
  625. 16:41
    Can Oncology Workflows Run Without Human Touch? - Anant Shankhdhar, Risa Labs

    RISA Labs:肿瘤科事前授权流程自动化,资格、授权、医疗必要性、提交多个 agent 协作,用历史记录和支付方规则库佐证决定。

    可以学到 / 用在工作里
    • 肿瘤科事前授权:先规范化各支付方的覆盖数据再决策
    • LLM 生成门户配置,从可复用动作构建
    • 授权状态要跨多个来源佐证,支付方规则绑定生效期
    • 行业应用
    • Harness 与架构
  626. 4:16
    Security Track Intro — Randall Degges, Snyk

    World's Fair 首个安全专场开场:AI 会写不安全的代码、生产 agent 会失控、前沿模型的访问也是风险。

    可以学到 / 用在工作里
    • AI 生成的代码可能带安全问题,生产中的 agent 会失控
    • 前沿模型的访问本身也是风险,地缘与政策会让访问被撤回、拖慢创新
    • 安全首次成为 World's Fair 独立专场,后续演讲来自 NVIDIA、Anthropic 等
    • 安全与隔离
    • 大会与活动
  627. 20:36
    Your LLM Stack Is a 2008 Database With Better Marketing — Lovina Dmello, NVIDIA

    NVIDIA:你的 LLM 栈是包装更好的 2008 年数据库——生产事故多来自熟悉的基础设施错配(如暴露的 Ray 集群),而不是奇特的模型攻击。

    可以学到 / 用在工作里
    • LLM 栈的事故多是熟悉的基础设施错配,如暴露的 Ray 集群和默认全管理员
    • 基础防护(登录、输入检查)成本不到 8% 应始终存在
    • 防护必须适配请求路径的性能预算,从基础设施向上构建边界
    • 安全与隔离
    • 基础设施与算力
  628. 27:33
    Agentic Development Security — Ezra Tanzer, Snyk

    Snyk:自主编码 agent 通过 MCP 连接外部工具的风险——过度权限、有漏洞的集成和破坏性动作,扫描并修复 AI 生成代码。

    可以学到 / 用在工作里
    • 代码安全不等于每个动作都安全
    • 把扫描移出 agent 可选择的循环,检查它继承的指令与工具
    • 在执行前拦截动作,记录发生了什么(恶意 VS Code 扩展窃取上千仓库的案例)
    • 安全与隔离
  629. 26:26
    Build the AI GTM Agent That Knows the Buyer - Dr. Sajjan Kanukolanu, Position2 (Position Squared)

    Position²:懂买家的 B2B GTM agent,结合 CRM、HubSpot 对话、LinkedIn 活动、职位变动和访客信号识别并排序买家。

    可以学到 / 用在工作里
    • 94% 买家用 GenAI 做研究,到访时已经很了解
    • 把访客身份、CRM 历史和社交信号连成买家情报
    • 据此协调聊天、销售提醒和外联,不要在聊天窗口重新开始发现
    • 行业应用
    • 团队与组织
  630. 23:02
    It's 10pm. Do You Know Where Your Agents Are? — Kim Maida, Keycard

    Keycard:晚上十点,你知道你的 agent 在干什么吗?权限过大的事故响应 agent 会删库、重启、烧钱;用 OAuth token exchange 和 STS 为每次工具调用签发窄范围凭据。

    可以学到 / 用在工作里
    • 宽权限 API key 会让夜间事故 agent 删库、重启、烧钱
    • 在 agent 循环里找到执行点,用 OAuth token exchange 为每个工具签发短时窄范围凭据
    • 策略支撑审批,控制跨 agent 运行时延续
    • 安全与隔离
  631. 15:53
    Privacy-Preserving Intelligence — Steve Korshakov, Bee (acq. Amazon)

    Bee(已被亚马逊收购):可穿戴个人 AI 如何保护对话数据——设备管理的密钥、Sigstore 透明日志、工作负载证明、自研推理。

    可以学到 / 用在工作里
    • 可穿戴设备听到私人生活,密钥由设备持有
    • 先做工作负载证明再临时共享密钥,机密计算节点之间复制
    • 用 Sigstore 透明日志让软件变更可见、可验证
    • 安全与隔离
    • 产品与交互
  632. 21:56
    We Gave an Agent Production Code Access and Then Tried to Sleep at Night — Moritz Johner, Form3

    Form3 的 PatchPilot:在数千仓库修复 CVE 的生产编码 agent,持生产凭据的 agent 是供应链参与者;确定性 Go 编排 + 受限的 agent 推理。

    可以学到 / 用在工作里
    • 持生产凭据的 agent 就是供应链参与者
    • 确定性 Go 编排控制 PR 生命周期,agent 只负责依赖推理
    • Docker 验证放进 microVM 边界,每次调用说明遇到的摩擦
    • 安全与隔离
    • 编码 agent
  633. 5:44
    Your Voice Agent Doesn't Need a Frontier Model - Joel Allou & Ornella Bahidika, Microsoft

    Microsoft:你的语音 agent 不需要前沿模型——确定性状态机 + Claude Haiku 4.5 在约 950ms 预算内响应,比 Opus 4.7 更快且效果不差。

    可以学到 / 用在工作里
    • 语音中的停顿比答错更伤体验
    • 状态和下一步决策放在代码里,只给模型轮次摘要
    • 确定性状态机 + Haiku 在约 950ms 预算内响应,比大模型更快且效果不差
    • 多模态与语音
    • Harness 与架构
  634. 32:56
    Designing Voice Agents for Real Conversations - Chintan Agrawal & Daniel Wirjo, AWS

    AWS:自然的语音 agent 取决于低延迟音频工程和准确的轮流说话,对比 Silero VAD、语音服务端点检测和本地 Smart Turn 分类。

    可以学到 / 用在工作里
    • 语音 agent 的关键是轮流说话:什么时候说、什么时候停
    • 三个层级:静默计时、STT 服务端点检测、本地 Smart Turn 模型加静默兜底
    • 同机部署所有模型可做到约 500ms 语音到语音,快速打断仍需处理
    • 多模态与语音
  635. 14:12
    Agent Output Is Not UX: Rendering Layer Your LLM Pipeline Is Missing - Bala Ramdoss, Amazon Lens

    Amazon Lens:agent 输出不等于 UX,需要专门的渲染层——A2UI、版本感知的渲染契约、渐进式结构化 UI 流。

    可以学到 / 用在工作里
    • agent 输出不是 UX:把 UI 描述为数据(组件列表),客户端用原生组件渲染
    • 为无法及时更新的客户端设计版本感知契约
    • 生成前约束组件选择,流式输出有用的组件状态
    • 产品与交互
  636. 27:32
    When Agents Meet Physical Data: The Other Physics of Agent Harnesses - Dmitry Petrov, DataChain

    DataChain:编码 agent 难处理物理世界和非结构化数据(重复感知、元数据分散、重算昂贵),开源 harness 把行车视频分析变成可查询的持久数据集。

    可以学到 / 用在工作里
    • 视频、传感器、机器人遥测需要 schema、可恢复执行和廉价验证
    • 用 Pydantic 定义 schema,把元数据变成行
    • 先界定分析范围再花算力,抽取一次、之后查询结果,记住已做过的工作
    • Harness 与架构
    • 检索与知识
  637. 11:20
    Medic for Apache Spark - First Aid for Failing Jobs - Drasko Profirovic, Pinterest

    Pinterest 的 Spark 急救员 Medic:从 MCP 工具与单个 ReAct agent 演进为可观测、有回归测试的多 agent harness(LangGraph + Deep Agents),定向检索异常。

    可以学到 / 用在工作里
    • 从单个提示 agent 演进为可回放测试的诊断系统,用端到端测试量化质量
    • 日志噪声大,只看最后一个异常不够,要定向检索异常证据
    • 把指标时序画成图给模型看,专门的调查员分工
    • 基础设施与算力
    • Harness 与架构
  638. 37:44
    Build Evals That Actually Matter - Nick Ung & Akshay Sharma, Lyft

    Lyft:上线前评估多轮客服 agent——生产代表性的模拟用户、LLM 评委、明确的上线门槛、受 τ-bench 启发的模拟,足够的样本量。

    可以学到 / 用在工作里
    • 模拟用户太友好不真实,要让它像生产用户一样简短、混乱
    • 用任务结果替代通用质量分(不只用 DeepEval 预置指标)
    • 把评委当分类器校准,给结论加不确定性,分数要直接连到上线决策
    • 评测
  639. 22:45
    From Blind Spots to Merged PRs: Continuous Agentic Performance Optimization - May Walter, Hud

    Hud:持续的 agent 性能优化——每周 GitHub Actions 工作流结合 Claude Code 与 MCP 生产上下文,按工作量和业务影响给优化机会打分。

    可以学到 / 用在工作里
    • AI 让个人感觉更快,但貌似合理的代码仍需验证
    • 每周 GitHub Actions 工作流用生产上下文(MCP)做性能调查
    • 交付 diff 和证据,按工作量与业务影响打分,值得人看才提交
    • 基础设施与算力
    • 编码 agent
  640. 16:57
    From Tokens to Cells: Foundation Models for Single-Cell Biology - Akram Baharlouei, Altos Labs

    Altos Labs:单细胞生物学的基础模型(scGPT、Geneformer),RNA-seq 规模、测量局限与多模态数据,基准评测。

    可以学到 / 用在工作里
    • 细胞重编程把细胞状态变成建模问题
    • 十亿次测序仍只是快照,测量有局限
    • 细胞当句子、基因当 token(scGPT、Geneformer),训练昂贵不保证表征有用,要基准检验
    • 模型与训练
    • 行业应用
  641. 12:50
    You Didn't Ship a Bug. You Just Wrote It for a Human. - Ravi Madabhushi, Scalekit

    Scalekit:为人设计的「最后访问时间」在 agent 高频调用下造成延迟尖峰和写压力;区分委托人与执行者的 agent 身份与授权。

    可以学到 / 用在工作里
    • 为人设计的「最后访问时间」写入,被 agent 高频调用放大 60 倍造成每 15 分钟延迟尖峰
    • 区分委托人与执行者身份
    • 工具面要反映授权,权限要窄、临时并确定性执行
    • 基础设施与算力
    • 安全与隔离
  642. 14:17
    A Practitioner's Guide to Graphs - Tim Ainge, Good Collective

    图技术实用指南:何时图原生技术有帮助而非万能 GraphRAG——实体匹配、Cypher vs SQL、个性化 PageRank(Pinterest Pixie、HippoRAG)。

    可以学到 / 用在工作里
    • 图在什么时候真有帮助:先给抽取一个 schema
    • 标准化值再做实体匹配,用个性化 PageRank 从起点排名
    • 在两个已知符号之间检索代码、用间接引用找权威,不必一律 GraphRAG
    • 检索与知识
  643. 17:39
    Stop Burning Tokens: Why self-improvement needs domain expertise first - Annabell Schäfer, Langfuse

    Langfuse:自我改进先要领域专长——用领域目标函数和专家参与,GPT-5.4 nano 分类 + Claude 聚类错误、提出提示修订,只接受验证集提升的改动。

    可以学到 / 用在工作里
    • 自我改进循环先要有能精确打分的目标,领域专家决定什么叫更好
    • 诊断、接受和最终测试用不同数据集
    • 小模型分类 + 强模型聚类错误并提出提示修订,只接受验证集提升的改动
    • 评测
    • 模型与训练
  644. 35:58
    The UX of AI: Making AI-Powered Apps Your Users Don't Hate - Kathryn Grayson Nanz, Progress Software

    Progress:让用户不讨厌的 AI 应用 UX——围绕真实问题设计,逐步引入新能力,让 AI 的修改和自主动作可见,说明不确定性。

    可以学到 / 用在工作里
    • 用户无法预测结果时就会讨厌 AI:借用熟悉的交互模式,再教会变化之处
    • 答案要让用户能核对,自主操作在开始前可审查、可中断
    • 标识生成内容(免责声明、水印),让结果能带进实际工作
    • 产品与交互
  645. 10:53
    Content Is Code - Matt Palmer, Conductor

    Conductor:内容即代码——文档、changelog、产品更新、网站和视频都可以用代码作为事实来源(React + Remotion 产品演示)。

    可以学到 / 用在工作里
    • 把 changelog、产品导览、视频都当代码(React + Remotion)
    • 结构化的事实来源是最昂贵的投入
    • AI 让制作变便宜,用心从制作转向检查
    • 产品与交互
  646. 19:22
    Autonomous Agents for Scientific Tasks - Sina Shahandeh, Radicait

    Radicait:自主科研 agent 需要显式提出科学假设而不只是调代码和超参(CT 生成合成 PET 的案例),用 Obsidian 结构化分解问题。

    可以学到 / 用在工作里
    • AutoResearch 式优化循环会耗尽想法,只做局部调整
    • 把问题分解变成显式动作(Obsidian 层级),从层级一路落到代码
    • 生成候选再由专门模型挑战,CT 生成合成 PET 的案例
    • 模型与训练
    • 行业应用
  647. 7:51
    Stop Renting Your Cognitive Infrastructure - Thiyagarajan Maruthavanan, Kalmantic Labs

    Kalmantic:别租用你的认知基础设施,按量付费的 API 成本不可预测;验证 PMF 时租用,规模化后迁移到自有硬件(DGX Spark)。

    可以学到 / 用在工作里
    • 按调用计价看似便宜,规模化后变成昂贵依赖(有零售商在推理上花了近 2 亿美元)
    • 被盗的 API key 是第二种支出风险
    • 验证 PMF 时租用,负载稳定后迁移到自有硬件,兼顾控制、审计与可复现
    • 基础设施与算力
  648. 17:07
    Your Agents Need a Save Button - Hamza Tahir, ZenML

    ZenML 的 Kitaru:agent 需要「保存按钮」——快照可执行的运行时状态、用更便宜的模型回放、比较不同运行。

    可以学到 / 用在工作里
    • 给 agent 一个保存按钮:快照可执行状态,而不只是 OTel span
    • 从检查点改一处(模型或工具返回)再回放,比较决策而不只是 trace 形状
    • 把生产检查点变成评测,按群体评估便宜模型是否值得上线
    • 基础设施与算力
    • 评测
  649. 19:36
    Agents Need Receipts, Not More Tool Calls - Armanas Povilionis, Alithea Bio

    Alithea Bio 的 Froglet:跨组织 agent 协作需要预算和可验证记录,开放的 agent 间协议支持服务发现、签名交易、执行与收据。

    可以学到 / 用在工作里
    • 跨组织协作的 agent 需要预算和可验证收据,而不是更多工具调用
    • 开放协议支持服务发现、签名交易、执行与收据
    • 区分身份与角色,一个节点可兼任多种角色
    • Harness 与架构
    • 行业应用
  650. 19:16
    Agents Need Feature Flags - Sachin Gupta

    agent 需要功能开关:分群发布、金丝雀、快速回滚和熔断,独立控制提示、工具、模型、记忆、自主程度和子 agent 六个行为面。

    可以学到 / 用在工作里
    • agent 需要功能开关:一个小提示改动会立刻影响所有人
    • 独立控制提示、工具、模型、记忆、自主程度、子 agent 六个面,按分群灰度
    • 模型下线或故障时靠路由开关切换,熔断要能到达进行中的对话和子 agent(循环跑掉 4.7 万美元的案例)
    • 基础设施与算力
    • 安全与隔离
  651. 21:08深读
    Every company should have a Brain — Garry Tan, Y Combinator

    YC 的 Garry Tan:每家公司都该有一个「大脑」——把组织知识、职责和可复用流程编码成 markdown agent skills;解析器表、把测试当 agent 的绩效考核、精益运营。

    可以学到 / 用在工作里
    • 当 CLAUDE.md 过大时改成「解析器表」:按任务类型指向不同的子文档或 skill。
    • 梳理 agent 系统里哪些状态被放在了提示/记忆里,把它们挪进代码或数据库。
    • 公司知识库要有「管理员」:来源、冲突检测、热/冷分层和定期清理,而不只是一个向量库。
    • 上下文 / Skills / MCP
    • 团队与组织
    • 创业
  652. 1:00:16
    The Great Loops Debate — Dex Horthy, Geoff Huntley, Ian Livingstone, Greg Pstrucha, @insecure-agents

    循环大辩论(牛津式):Ian Livingstone 与 Geoffrey Huntley 认为有纪律的编码 agent 循环已带来实际自主性,Dex Horthy 与 Greg Pstrucha 质疑炒作与可靠结果的差距;Ralph 循环、上下文、验证、CI/CD、提交前背压。

    可以学到 / 用在工作里
    • 有用的 agent 循环要可验证的目标、受控权限和有意义的反馈
    • 持久运行需要外部权限边界,存量代码库需要可执行约束
    • 软件工厂能无人值守跑机械化、规格把关、测试覆盖的部分,工程师仍对结果负责
    • 软件工厂 / 多 agent
    • 编码 agent
  653. 2:20:20
    Special Topics in Kernels, RL, Reward Hacking in Agents — Daniel Han, Unsloth

    Unsloth 的 Daniel Han(2 小时工作坊):kernel、RL、agent 奖励作弊、动态低比特量化、基准可靠性与成本性能权衡。

    可以学到 / 用在工作里
    • 模型表观能力取决于精度、推理服务栈、harness 和评估器
    • 任务时长拉长后要重新定义什么算作弊,kernel 优化也会作弊
    • 精度花在关键处(动态低比特量化),吞吐只有答案正确才有价值
    • 模型与训练
    • 基础设施与算力
  654. 20:26
    "Software engineering is not about writing code" — Benoit Schillings, Google DeepMind VP of Research

    Google DeepMind 研究副总裁:软件工程不是写代码——生成代码变容易,架构、理解大代码库与规划仍难;人写训练数据枯竭,主张 AlphaZero 式自我博弈与 RL。

    可以学到 / 用在工作里
    • 软件工程不是写代码:瓶颈从机器转向规格说明
    • 一个函数不等于一个代码库,架构和理解大代码库仍难
    • 人写训练数据枯竭,转向可验证实践与自我博弈,几乎免费的代码带来控制问题
    • 范式与判断
    • 模型与训练
  655. 17:35
    On AI and Knowledge — Pablo Castro, Distinguished Engineer & CVP for AI Knowledge, Microsoft

    Microsoft 的 Pablo Castro:AI 的知识——模型内在知识、企业外部知识与学到的知识,Foundry IQ 用 Azure AI Search 与 agentic 检索为 agent 接地。

    可以学到 / 用在工作里
    • agent 需要三类知识:模型内在知识、企业外部知识、从经验学到的知识
    • 组合多种检索方法但不暴露所有设置(agentic 检索)
    • 把日常工作变成学到的指令、工具和 skill,并生成评测集
    • 检索与知识
  656. 21:30
    Using LLMs to Secure Source Code — Eugene Yan, Anthropic

    Anthropic 的 Eugene Yan:用 LLM 保护源代码——Firefox 与 Claude Mythos Preview 的经验,威胁建模、隔离沙箱、发现、验证、分级、修补六步法。

    可以学到 / 用在工作里
    • 发现漏洞变容易后,瓶颈变成未完成的修补工作
    • 给模型系统上下文而不只是代码,建立隔离、可复现的漏洞利用测试床
    • 六步:威胁建模、沙箱、发现、独立验证、分级、修补并评审
    • 安全与隔离
  657. 16:04
    Imagination Engineering: "Live in the future and then build what's missing."

    YC 设计负责人:想象力工程,「活在未来,再造出缺失的东西」;AI 让想象力而非实现成为约束。

    可以学到 / 用在工作里
    • 实现变容易后,想象力成为约束:「活在未来,再造缺的东西」
    • 让 agent 把一周的想法变成网站,把品味变成可调控件
    • 给项目记忆,满足小而即时的需求
    • 产品与交互
  658. 16:16
    How Autoresearch is changing ML research — Zhengyao Jiang, Weco

    Weco AI:自主研究 agent Aiden 参加 OpenAI Parameter Golf,22 天约 1300 次实验创下 7 次排行榜纪录;人的创造力与 agent 执行互补。

    可以学到 / 用在工作里
    • 自主研究 agent 不只局部爬山,而是发布可复用的研究(公开 PR)
    • 22 天约 1300 次实验、7 次纪录,提交上榜率约为社区平均的 6 倍
    • 人负责想法和问题设计,评测提供优化信号,代码库设计更重要
    • 模型与训练
  659. 51:30
    Claude Fable, Claude Tag, and Anthropic's Culture — Cat Wu & Thariq Shihipar ft Simon Willison

    Simon Willison 对谈 Anthropic 的 Cat Wu 与 Thariq:Claude Code、Fable 与 Claude Tag,从紧盯实现到委托与产品判断,强测试支撑的重写,内部称 Claude Tag 落地了 65% 的产品工程工作。

    可以学到 / 用在工作里
    • 更强的编码 agent 把工作从紧盯实现转向委托与产品判断,强测试让重写变得划算
    • 共享 agent 进入团队对话(Claude Tag),让使用数据挑战产品直觉
    • 自动审查要按区域逐步赢得,核心代码仍有 owner 人工审查
    • 编码 agent
    • 团队与组织
    • 产品与交互
  660. 20:32
    Recursive Model Improvement — Lee Robinson, Cursor, SpaceXAI

    Cursor(SpaceXAI)的 Lee Robinson:递归模型改进飞轮——真实用户反馈、私有评测、RL 环境与更强的编码模型,Composer 2.5 与留出基准。

    可以学到 / 用在工作里
    • 更好的模型来自反馈、评测、任务生成和研究 agent 一起改进的飞轮
    • 产品反馈喂外环,评测要衡量意图和真实工程工作
    • 警惕模型通过找答案「解决」基准,生成更难且可验证的任务
    • 模型与训练
    • 编码 agent
  661. 16:41
    Computer-Use 2.0: Agents Just Got Multi-Cursor — Francesco Bonacci, Cua

    Cua:computer use 2.0,多光标——Cua Driver 跨平台后台桌面交互,Cua-Bench 覆盖 130+ 任务、42 环境、5 平台。

    可以学到 / 用在工作里
    • agent 在用户旁边工作需要窗口级后台控制,而不是抢光标
    • 每个 GUI 任务要有初始状态和成功检查(如用电路仿真验证 KiCad 任务)
    • 先尝试攻破评估器再信任分数,按需自动扩缩桌面避免 GPU 等待
    • 多模态与语音
    • Harness 与架构
  662. 21:45深读
    Don't Ship Skills Without Evals — Philipp Schmid, Google DeepMind

    Philipp Schmid:不评测就别发布 skills——简洁的触发指令、按场景的参考资料、正反测试用例、删除无效指令,用 trace 与正则验证器搭轻量评测,做有无 skill 的消融。

    可以学到 / 用在工作里
    • 为最常用的 3 个 skill 各写 5 个测试提示,包含含糊请求和反例,在干净目录里各跑 3 次。
    • 能用正则/文件检查判断的要求不要用 LLM 评委;LLM 评委只留给需要解读的部分。
    • 固定步骤写成脚本让 skill 调用,skill 正文只写目标、约束和坑点。
    • 上下文 / Skills / MCP
    • 评测
  663. 18:26深读
    "The engineer of the future is the person who chooses what is worth doing." — Addy Osmani, Anthropic

    Addy Osmani:未来的工程师是选择什么值得做的人。agent 自动化生产后,价值来自判断、对生产决策负责和对证据的所有权;警惕认知债务与认知投降。

    可以学到 / 用在工作里
    • 为每类 agent 任务定义「证据包」标准(例如 UI 改动必须附截图/录屏,数据改动必须附查询结果),评审只看证据和风险。
    • 在关键决策前先写下自己的判断再看 AI 答案,避免认知投降;定期检查团队是否还能解释核心系统。
    • 保持代码整洁不仅为了人,也为了降低 agent 的 token 成本和返工。
    • 范式与判断
    • 团队与组织
    • 质量与评审
  664. 20:47
    Forward Deployed Engineering at Cursor — Pauline Brunet

    Cursor 的 FDE:客户成熟度和定制程度决定该用嵌入式工程师、顾问还是自助;区分 FDE 与传统 SaaS 部署和人力外包。

    可以学到 / 用在工作里
    • 客户成熟度和定制程度决定用嵌入式工程师、顾问还是自助
    • 引入新技术不陪伴就没人用
    • 固定结果、保持实现范围,衡量合作结束后仍持续的价值
    • 团队与组织
  665. 20:53
    WTF Is the Context Layer? The Missing Infrastructure for Production Agents — Prukalpa Sankar

    Atlan:上下文层是生产 agent 缺失的基础设施,agent 缺少人类同事靠经验获得的业务定义、流程专长和组织规范。

    可以学到 / 用在工作里
    • agent 推理再好也可能用错业务定义:一个指标问题需要定义、流程和规范三类上下文
    • 专门 agent 的上下文会分歧,把共享专长与使用它的 agent 分开
    • 共享 skill 需要依赖与质量管理、审核流程和学习回路
    • 检索与知识
    • 上下文 / Skills / MCP
  666. 44:33深读
    From fork() to Fleet: Designing an Agent Sandbox Cloud — Abhishek Bhardwaj, OpenAI

    OpenAI 的 Abhishek Bhardwaj:从 fork() 到舰队——设计 agent 沙箱云,从线程、系统调用、权限边界、命名空间讲到 VMM 架构,持久磁盘与高效快照支撑长时 agent 和 RL。

    可以学到 / 用在工作里
    • 按威胁模型选隔离级别:自己的代码可用容器;运行不可信、模型生成的代码优先 gVisor 或 microVM(Firecracker/cloud-hypervisor)。
    • 把「快照/恢复」设计成 agent 的日常操作(回溯、分支尝试),而不是灾备功能;写时复制文件系统让它变便宜。
    • 基础设施与算力
    • 安全与隔离
  667. 46:52
    Modern Post-Training: A Deep Dive — Will Brown, Prime Intellect

    Prime Intellect 的 Will Brown 工作坊:现代后训练深入——verifiers 环境与 prime-rl 异步 RL 框架,共享环境与 rollout 支撑评测、RL、SFT 与专家蒸馏,Environments Hub。

    可以学到 / 用在工作里
    • 评测变成训练回路:任务集 × harness × 运行时
    • 在训练里运行真实 harness,用拦截服务器给每次 rollout 假的 base URL
    • 消息不足以复现 rollout,要保留 token 级渲染,奖励最短的正确解
    • 模型与训练
  668. 21:13
    "I've never seen anything scarier than an LLM with tool calls." — Erik Meijer aka @HeadinTheBox

    Erik Meijer:没有比带工具调用的 LLM 更可怕的东西——用 Lean、Dafny 和类型系统,让 agent 提出附带机器可检验安全证明的计划,再在隔离环境执行。

    可以学到 / 用在工作里
    • 带工具调用的 LLM 很危险:安全的最终答案可能跟在破坏性动作之后
    • 把执行移出模型控制,让 agent 提出可检查的程序
    • 用 Lean、Dafny 等类型系统给计划附带机器可验证的安全证明,再隔离执行
    • 安全与隔离
    • 质量与评审
  669. 23:34
    Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers

    Mindmakers:别再用 50 年代的方法评估模型,用项目反应理论估计潜在能力,区分得分相近的模型、找出有问题的答案和信息量大的题。

    可以学到 / 用在工作里
    • 准确率掩盖了模型答对的是哪些题
    • 用项目反应理论把难度与能力放在同一尺度,区分度决定一道题的信息量
    • 找出惩罚更好答案的错题,评测 token 花在信息量大的题上
    • 评测
  670. 17:27
    RLM: Recursive Language Models for Large Codebases - Shashi, Superagentic AI

    Superagentic AI:用递归语言模型处理大代码库——仓库上下文放在可编程 REPL 里,生成代码检查、返回有界观察、递归委托子问题(开源 RLM Code)。

    可以学到 / 用在工作里
    • 仓库超出工作上下文时,把上下文放进可编程 REPL
    • 模型用 Python 检查并返回有界观察,递归委托子问题
    • 限制运行范围并检查轨迹,像主程一样调查
    • Harness 与架构
    • 编码 agent
  671. 9:20
    remobi.app: Don't change your terminal workflow for mobile

    开源 remobi.app:不改 tmux/远程开发流程,用手机 PWA 监控和控制编码 agent。

    可以学到 / 用在工作里
    • 不改 tmux 工作流,用手机 PWA 监控和控制编码 agent
    • 触屏控件适配你的按键设置,评审与维护工具跟随 agent
    • 远程访问的安全边界仍要你自己负责
    • 编码 agent
    • 产品与交互
  672. 19:43
    The AI bugpocalypse is here. Now what? - Jack Cable, Corridor

    Corridor:AI 漏洞末日来了——前沿模型和编码 agent 同时加速漏洞发现和扩大攻击面;内存安全语言、BaxBench、PR 前的安全护栏与 AI 编码工具可见性。

    可以学到 / 用在工作里
    • AI 同时加速漏洞发现和攻击面扩张,开源库首当其冲
    • 60%–70% 的漏洞可用内存安全语言避免,新代码要更安全并做结构性修复
    • 智能不能补上缺失的威胁模型,把安全放进开发工作流(PR 前护栏)
    • 安全与隔离
  673. 12:10
    The Agentic Web and the Bazaar Era of AI - Ramesh Raskar, MIT Media Lab

    MIT 的 Ramesh Raskar:agentic web 与 AI 的「集市时代」,Project NANDA 让 agent 互相发现、建立可信身份、交易和跨组织协调。

    可以学到 / 用在工作里
    • agent 如何找到另一个 agent:开放的 agent web 取代封闭目录
    • 签名身份记录(AgentFacts)和受保护消息箱
    • 在 NandaTown 测试市场、拍卖、投票等交互,逐层替换并测试
    • Harness 与架构
    • 范式与判断
  674. 7:13
    What Does Done Even Mean? Agents and Paperclip's Liveness Model - Dotta, Paperclip

    Paperclip:agent 的「完成」不能只看一个状态标志——合并、部署、宣布需要不同证据、验证、权限与风险承担;显式状态流转、与 harness 无关的看门狗、结构化完成声明。

    可以学到 / 用在工作里
    • 绿色勾号背后是不同的声明:合并、部署、宣布需要不同证据和权限
    • 把完成表示为对象,有内容与等级
    • 让任务持续推进但不进入非法状态,与 harness 无关的看门狗监督目标
    • Harness 与架构
    • 软件工厂 / 多 agent
  675. 25:00
    ReviewDebt: a practical framework for scoring every pull request — Sachin Gupta, Ebay

    eBay 的 ReviewDebt:0–100 的确定性评分估算 PR(尤其是 AI 生成的)给人带来的评审负担——diff 蔓延、跨文件耦合、测试证据弱、评审疲劳。

    可以学到 / 用在工作里
    • 代码产出可以快过团队建立信任的速度
    • ReviewDebt 用 0–100 确定性评分衡量 PR 的评审负担:diff 蔓延、跨文件耦合、测试证据弱
    • 负担由复杂度而非作者身份决定,把分数变成具体评审动作
    • 质量与评审
  676. 16:24
    Semantic Blindness: 500,000 Sensors Confused an LLM - Raahul Singh & Vanč Levstik, Phaidra

    Phaidra:50 万个传感器让 LLM「语义失明」——上下文有限、传感器名近乎相同、向量检索不可靠;用预建的设施层级索引和有界编排保证可靠性。

    可以学到 / 用在工作里
    • 50 万个传感器名几乎相同,相似度不等于身份,分片清单解决的是错的问题
    • 把层级结构线性化摘要,而不是列出实例
    • 让模型输出检索计划,再用索引集合确定性求解
    • 检索与知识
    • 行业应用
  677. 14:16
    A Song of Types and Agents - Roberto Stagi, Ratel

    Ratel:AI 正从 Python 主导的模型训练走向 TypeScript 主导的应用与 agent 开发,端到端类型安全的统一 TS 技术栈。

    可以学到 / 用在工作里
    • AI 正从训练模型走向交付应用,TypeScript 适合连接 agent 循环、工具、后端与界面
    • 共享代码和 schema 实现端到端类型安全
    • 编码 agent 增加了对 TS 集成的需求,可能形成反馈循环
    • Harness 与架构
    • 创业
  678. 17:08
    Design Patterns for AI Trust: Juries, Libraries, and Agent Tiers — Alex Bauer, Upside.tech

    Upside:AI 信任设计模式——陪审团(多模型交叉)、资料库(可信上下文)和 agent 分级,用管理人类团队的方式让 agent 更可靠。

    可以学到 / 用在工作里
    • 管理 agent 像管理团队:给意图而不微观管理
    • 先构建业务参考(资料库),查询前先问「图书管理员」
    • 需要判断时用多模型「陪审团」,模型与 harness 仍决定上限
    • 评测
    • 团队与组织
  679. 44:29
    State of the Union: Why Local, Why Now — NVIDIA, Osmantic, Roboflow, EXO Labs, @matthew_berman

    本地 AI 圆桌(NVIDIA、EXO Labs、Matthew Berman、Osmantic、Roboflow):为什么本地 AI 到了拐点——DGX 分布式推理、视觉应用、多模型路由、专用模型与微调。

    可以学到 / 用在工作里
    • 常驻 agent 让隐私、推理成本与控制更难忽视
    • 能装下的模型还要有用,把智能花在关键处,收集证据再做专门化微调
    • 充分利用已有硬件(分布式推理、多模型路由)
    • 模型与训练
    • 基础设施与算力
  680. 23:05
    From Writing Code to Designing Systems: How the Developer Role is Changing — Chris Noring, Microsoft

    Microsoft:开发者角色从写代码转向设计系统、规划工作和协调编码 agent,CLI 优先工作流(Copilot CLI)、按 issue 和 PR 扩展工作、Agent Skills。

    可以学到 / 用在工作里
    • 从 CLI 起草到编辑器继续,编辑器变成控制面板
    • 给仓库显式规则,把重复任务做成 skill,用定制 agent 定义角色
    • 把终端任务派到 GitHub、分配 issue 而不是即兴操作,工程师仍对交付负责
    • 范式与判断
    • 编码 agent
  681. 55:19
    Stop AI Agent Hallucinations: 5 Techniques + Production Patterns - Elizabeth Fuentes, AWS

    AWS 工作坊:减少 agent 幻觉和 token 浪费的五种技术——基于嵌入的语义工具选择、GraphRAG、预订与支付护栏、Agent Control SDK 引导。

    可以学到 / 用在工作里
    • 29 个工具全塞进上下文浪费 token:先用嵌入选择工具再调用 agent
    • 对整个数据集计算(GraphRAG)而不是检索样本
    • 执行与审批分开(验证器、批评者),预订与支付用确定性规则,运行时引导
    • Harness 与架构
    • 检索与知识
  682. 10:51
    Every Solo Agent Builder Eventually Reinvents a Worse Version of CI/CD - Sumaiya Shrabony

    每个独立 agent 开发者最终都会重新发明一个更差的 CI/CD:19 个 skill 的 Claude Code 内容系统暴露出声音漂移、未经验证的说法、重复内容,需要显式阻断式校验。

    可以学到 / 用在工作里
    • 独立开发者最终会重新发明更差的 CI/CD
    • 精美的产物也可能是失败的运行:声音漂移、无证据的精确说法、重复角度
    • 保存前定义必须为真的条件,阻断式校验放在第一道关并留审计记录
    • 质量与评审
    • 基础设施与算力
  683. 9:58
    The Factory That Dreams: 39 AI Agents, No Framework - Rushabh Doshi, Machinecraft

    Machinecraft:39 个 agent、不用框架的「会做梦的工厂」,把制造业经验变成由 Athena 协调的专业 agent 系统,保留人工纠正,夜间整合知识。

    可以学到 / 用在工作里
    • 把几百 GB 的报价、图纸、邮件变成结构化记忆
    • 39 个专业 agent 代替一个巨型提示,由协调者统筹
    • 起草的商业动作与执行之间保留人工,夜间选择性整合和纠正记忆
    • Harness 与架构
    • 行业应用
  684. 15:12
    Chat and citations won't save your vertical AI - Atul Ramachandran, Filed Inc

    Filed:聊天和引用救不了垂直 AI,客户仍要自己验证和执行;以报税为例,围绕 agent 委托设计产品:人监督 AI 员工、教 skills、看任务列表与 trace。

    可以学到 / 用在工作里
    • 聊天和引用不够:客户仍要等待和核对,这也是工作
    • 为委托而非参与设计(以报税为例)
    • 让用户教 agent 偏好、检查进度和生成值,可暂停、解决问题后继续
    • 产品与交互
    • 行业应用
  685. 15:28
    Develop at Idea Velocity - Jeffrey Lee-Chan, Snapchat

    Snapchat:以想法的速度开发——用 OpenClaw 并行编码 agent,持久的 Slack 记忆、隔离工作树、tmux 终端、编排者与 worker 架构。

    可以学到 / 用在工作里
    • 短请求变成有用工作:agent 记住意图、委托实现、返回证据
    • 沟通层、管理者、编码 worker 分层,隔离工作树与 tmux
    • 管理工作但不继承 worker 的结论,让委托和远程工作可见
    • 编码 agent
    • 软件工厂 / 多 agent
  686. 17:11
    Claws Out: Securing and Building with OpenClaw - Nick Taylor, Pomerium

    Pomerium:为 OpenClaw 贡献可信代理认证,把网关放在身份感知代理后面,并用 OpenClaw 工作区数据构建 MCP 应用。

    可以学到 / 用在工作里
    • 网关放在身份感知代理后面,避免重复认证
    • 身份提供者 + 策略引擎 + 反向代理是可靠的内部应用安全方案
    • 显式信任边界,测试从未连接过的设备,暴露服务同时保持边界
    • 安全与隔离
    • Harness 与架构
  687. 19:33深读
    Understanding is the new bottleneck — Geoffrey Litt, Notion

    Notion 的 Geoffrey Litt:理解是新的瓶颈,而不是生成或正确性;认知债务,以及协作式代码讲解、交互式 HTML 产物、理解检查、Explain Diff skill 和用 Claude 生成的「微世界」。

    可以学到 / 用在工作里
    • PR 附带 agent 生成的「讲解页」(背景、直觉、走读、小测验),评审者先做题再读代码。
    • 对复杂迁移或陌生系统,让 agent 生成可交互的可视化(单步执行、状态面板),而不只是一份脚本。
    • 设计 AI 工具时把「让用户变得更懂」作为目标之一,警惕认知债务。
    • 范式与判断
    • 产品与交互
    • 质量与评审
  688. 21:34
    Should AI Engineers Still Read Code in 2026? The Z/L Continuum — Alex Volkov, ThursdAI

    ThursdAI 的 Alex Volkov:2026 年还要读代码吗?Z/L 连续谱——在 Mario Zechner(细读)与 Ryan Lopopolo(agent 优先)之间按任务决定审查深度,用 trace、评测、影子模式、可观测和回滚兜底。

    可以学到 / 用在工作里
    • 代码变便宜、注意力稀缺:按任务而不是按人决定审查深度
    • 为证明建立路由表:trace、评测、影子模式、可观测与回滚
    • 更强的模型会移动审查目标,产出更多不等于更稳定
    • 范式与判断
    • 质量与评审
  689. 25:13
    The Golden Age of AI Engineering — Alexander Embiricos & Romain Huet & Peter Steinberger, OpenAI

    OpenAI 的 Alexander Embiricos、Romain Huet 与 Peter Steinberger:AI 工程的黄金时代——能力越强工程越重要,Codex 的聊天优先协作设计、共享的 Responses API 与上下文压缩原语,以及基于 Codex app-server 的第三方应用。

    可以学到 / 用在工作里
    • 能力越强工程越重要:从建议代码转向可验证执行,连接编码前后的工作
    • 聊天优先,再深入工作区
    • 第三方应用可基于同一套模型、Responses API 与 Codex app-server 构建,订阅可在更多客户端使用
    • 编码 agent
    • 范式与判断
  690. 16:01
    Everything we knew about software has changed — Theo Browne, @t3dotgg ​

    Theo Browne:我们对软件的认知全都变了——从 Claude 3.5 Sonnet、Opus 4.5 到 Mythos,抛弃继承来的约束,小团队可以更有野心。

    可以学到 / 用在工作里
    • 可靠工具调用和长任务改变的不只是编码速度,而是哪些项目值得尝试
    • 熟悉的工具可能是继承来的约束(拟物化的类比),可以无愧疚地拒绝工作
    • 昨天的创业项目变成今天的副业,定时服务可以只是一个 Markdown 文件
    • 范式与判断
    • 创业
  691. 18:19
    Building an ACP-Compatible Agent Live — Bennet Fenner, Zed

    Zed:现场编写兼容 ACP 的 agent,Agent Client Protocol 标准化编码 agent 与编辑器之间的 JSON-RPC 通信。

    可以学到 / 用在工作里
    • ACP(Agent Client Protocol)用 JSON-RPC 标准化编码 agent 与编辑器的通信
    • 模型文本以 session update 流式转发,先宣告工具调用再更新
    • 读编辑器中的文件版本、以 diff 显示编辑,最小 TS agent 即可获得会话与终端工具
    • Harness 与架构
  692. 19:08
    Teaching Coding Agents to do Spreadsheets - Nuno Campos, Witan Labs

    Witan Labs:教编码 agent 做表格,内部金融表格基准从约 50% 提到 92%——多 agent 和 SQL/XML/CSV/HTML 表示都不够,最终用渲染 + 高保真 C# 引擎 + 持久 Node REPL。

    可以学到 / 用在工作里
    • 表格 agent 从约 50% 提到 92%:多 agent 和各种文本表示都不够
    • 把工具调用变成可组合 JavaScript,持久 REPL 保持执行状态
    • 计算并渲染后再信任结果(高保真引擎),接口与反馈基础设施分开
    • Harness 与架构
    • 行业应用
  693. 9:11
    I Run a Fleet of AI Agents Across Three Machines. Here's What Broke. - Kyle Jaejun Lee, KRAFTON

    KRAFTON:跨三台机器运行个人 agent 舰队,用 CEO/VP/经理/worker 角色替代手动协调,状态和交接写盘,用重置上下文代替压缩;tmux 拥挤、内存耗尽等故障。

    可以学到 / 用在工作里
    • 个人 agent 舰队的第一个瓶颈是注意力:用 CEO/VP/经理/worker 角色分层
    • 状态与交接写盘,用重置上下文代替压缩,审批做成阻塞操作
    • 按任务时长分配机器,常驻机器避免笔记本断电杀任务,tmux 拥挤与内存耗尽是常见故障
    • 编码 agent
    • 软件工厂 / 多 agent
  694. 10:07
    Your coding agent doesn't always follow your rules — Talha Sheikh, Checkout.com

    Checkout.com:编码 agent 不总是遵守规则,会声称完成却漏需求;Vector Harness 用 Claude Code hooks 和确定性检查验证输出。

    可以学到 / 用在工作里
    • agent 会在满足需求前宣布完成
    • 用 Claude Code hooks 在会话结束时调用确定性检查,形成带检查的重试循环
    • 开发者定义可移植的检查契约,harness 投入可能降低模型开支
    • 质量与评审
    • 编码 agent
  695. 18:00
    Think You Can Build a Game with AI? Think Again! - Danielle An & David Hoe, Meta

    Meta:觉得能用 AI 做游戏?生成工具降低门槛,但美术一致性、玩法和人的品味仍是关键;用关键美术图锚定 LLM。

    可以学到 / 用在工作里
    • 生成一个看起来像的游戏只是开始,美术一致性、玩法与品味仍是关键
    • 用关键美术图锚定生成风格
    • 运行时 LLM 让角色个性成为玩法,非确定性贯穿整个平台
    • 产品与交互
    • 多模态与语音
  696. 9:57
    Your agent is blindfolded — Johan Lajili, Poolside AI

    poolside:你的 agent 被蒙着眼——可靠性取决于 agent 能否查看应用并验证自己的工作;内部 CLI 给 agent 截图、压缩快照和交互能力。

    可以学到 / 用在工作里
    • agent 可靠性取决于能否看到应用并验证自己的工作
    • 给 agent 应用专用 CLI:截图、压缩快照与交互
    • 先复现故障再提修复,把验证变成工作环境的一部分,决定探索性检查何时固化为测试
    • 编码 agent
    • 质量与评审
  697. 16:31
    Running a Chess YouTube Channel entirely by AI — Stephan Steinfurt, TNG

    TNG:完全由 AI 运营的国际象棋 YouTube 频道——每晚下载 Lichess 对局、agent + 象棋工具分析、自动发布带解说的谜题视频。

    可以学到 / 用在工作里
    • 每晚下载 Lichess 对局,引擎分析 + 模型主导探索
    • 给语言模型一个可调查的棋盘,解释人可能考虑的走法
    • 把分析转成解说、配合棋盘标注,自动发布谜题视频
    • 多模态与语音
    • 产品与交互
  698. 13:57
    Your LLM Deception Monitor Is Broken. The Fix Is in the Training Data - Sachin Kumar, LexisNexis

    LexisNexis:检测行为评测漏掉的「潜伏 agent」后门——用微调模型与基座模型激活之差训练稀疏自编码器,信号强 40 倍。

    可以学到 / 用在工作里
    • 模型可以通过所有评测和行为监控却仍带后门(按年份触发的 SQL 注入)
    • 用微调模型与基座模型激活之差训练稀疏自编码器,信号更干净
    • 全量微调分离完美、LoRA 泄漏更多,检测信号干净也不等于安全保证
    • 安全与隔离
    • 模型与训练
  699. 32:03
    What if the harness mattered more than the model? - Aditya Bhargava, Etsy

    Etsy:如果 harness 比模型更重要?尤其对弱模型,演示 TypeScript 风格的 agent 编程语言 Agency,自动生成工具与 JSON Schema、受限文件访问、ReAct 测试修复。

    可以学到 / 用在工作里
    • 只改 harness,同一模型分数从 52.4% 到 76.2%
    • 用 Agency 语言写 harness,自动生成工具与 JSON Schema
    • 文件访问需要审批策略,先绑定范围再暴露工具,用失败/通过的测试闭环
    • Harness 与架构
  700. 37:01
    Beyond the Harness: A Journey Towards Adaptative Engineering - Rajiv Chandegra, Annicha Labs

    Annicha Labs:超越 harness,走向「适应性工程」——预设角色和流程的 harness 适合有界软件任务,不适合变化的物理与社会系统,应设计允许涌现的约束。

    可以学到 / 用在工作里
    • 预设角色和流程的 harness 适合有界软件任务,不适合不断变化的问题
    • 复杂系统靠局部规则产生涌现秩序(鸟群)
    • 把 harness 设计成持续演化的约束,工程师仍要观察和控制
    • Harness 与架构
    • 范式与判断
  701. 19:49
    The Pipeline Is Dead - Iris ten Teije, Sky Valley Ambient Computing

    「流水线已死」:传统 CI 和分发假设所有用户拿到同一个冻结产物,Differ 提出共享主干 + 有界、隔离、可回滚的每用户分叉。

    可以学到 / 用在工作里
    • 传统流水线假设所有用户拿到同一个冻结产物
    • 软件可以在用户会话中变化:一个规范主干,每个用户有自己的分叉
    • 在放大之前约束分叉范围,保留来源、可回滚与协调
    • 基础设施与算力
    • 产品与交互
  702. 25:53
    Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo

    Duolingo:为辨别而非批准设计 AI 系统——界面诱导审核者橡皮图章(认知投降),远程监考中伪造作弊警报的实验,设计让人独立判断的交互。

    可以学到 / 用在工作里
    • 人在回路会出现「认知投降」:审核者橡皮图章 AI 输出
    • 实验中伪造作弊警报,熟练审核者也会被带偏
    • 维持旗标前先要求证据,交互数据会成为下一代模型的训练数据,要分开模型所见与政策要求
    • 产品与交互
    • 评测
  703. 12:35
    GTM Is You - Victoria Melnikova, Evil Martians

    Evil Martians:GTM 就是你——开发者工具和 AI 创业公司创始人是 GTM 的核心,个人品牌、AI 泛滥的分发渠道与独特的创始人声音。

    可以学到 / 用在工作里
    • 开发者工具的 GTM 核心是创始人本人:关系、兴趣与公开存在
    • 先找约束再选渠道,用近距离活动建立关系
    • 广告也能传递可信度,让热情可见,AI 只是放大器
    • 创业
  704. 17:48
    500 people vibe-coded for 30 days. I was one of them. - Sanja Grbic, Automattic

    Automattic「极速月」:约 500 名员工 30 天发起 794 个项目,岗位定制的 AI 培训、易用的开发环境、内部 MCP 知识服务器与 Claude Code 让设计师也能贡献代码。

    可以学到 / 用在工作里
    • 约 500 人 30 天发起 794 个项目:先让贡献变得可能,再要求速度
    • 岗位定制的 AI 培训、易用开发环境、内部 MCP 知识服务器
    • 暂停路线图交付真东西,设计师成为设计工程师并拥有交付
    • 团队与组织
  705. 14:28
    How we taught agents to use good retrieval - Hanna Lichtenberg, Mixedbread AI

    Mixedbread:弱检索工具造成强模型与真实研究表现之间的「oracle 差距」,agent harness 结合 grep、语义检索、并行多轮搜索。

    可以学到 / 用在工作里
    • 推理再强也弥补不了缺失的证据:度量找到证据与使用证据之间的 oracle 差距
    • 语义检索工具常被塞入关键词堆,要让模型先说需要什么证据再写查询
    • grep、语义检索、并行多轮搜索组合,训练奖励同时看检索列表与最终答案
    • 检索与知识
  706. 12:57
    SWE-Marathon: Evaluating Coding Agents at Billion-Token Scale - Rishi Desai, Abundant AI

    Abundant AI 的 SWE-Marathon:20 个项目级任务,在十亿 token 级别的超长时程上评估编码 agent,确定性 + 浏览器 computer use 验证,防奖励作弊。

    可以学到 / 用在工作里
    • 项目级任务:平均每次试验 3100 万 token,最长 8.77 亿
    • 弱验证器本身就是攻击面,要用浏览器 computer use 测试克隆应用是否真可用
    • 构建任务后堵住捷径,大 token 预算不等于能拥有项目
    • 评测
  707. 16:43
    Respect The Process - Andrew Dumit, Watershed Technology Inc.

    Watershed:碳排计算要评估 agent 的推理过程而不只是结果,用编码 agent 探索复杂排放图,同时把关键改动限制在类型化 SDK 和确定性执行里。

    可以学到 / 用在工作里
    • 评估 agent 的推理过程而不只是结果(碳足迹专家对同样数据给出不同答案)
    • 代码让探索和批量编辑可行,但灵活也带来新的失败路径
    • 约束效果而非表达:类型化 SDK 定义允许的变更,确定性执行让改动可追溯可评审
    • Harness 与架构
    • 行业应用
  708. 19:28深读
    Field Guide to Fable — Thariq Shihipar, Anthropic

    Thariq:Fable 野外指南——能力悬空(聊天答不出、Claude Code 拉列表过滤)、Claude Code 删掉 80% 系统提示、地图与实地的未知、采访-参考-实现笔记-考我。

    可以学到 / 用在工作里
    • 给 agent 写任务时多给背景和目标,少给例子和禁令;遇到不熟悉的领域先让它做一次「盲点扫描」。
    • 设计决策难以描述时,让 agent 一次产出 3–4 个差异很大的 HTML 原型来对比,而不是反复用文字描述。
    • 把「采访我 → 给参考 → 实现笔记 → 考我」做成固定流程(可以写成 skill),用于中大型改动。
    • 编码 agent
    • Harness 与架构
  709. 28:54
    MCP Apps: Primitives, discovery, and the Future of Software - Pietro Zullo, Manufact, Inc

    Manufact:MCP Apps 的原语、发现与软件的未来——宿主渲染的交互界面、双向通信、流式工具输入、选择性共享模型上下文,mcp-use SDK。

    可以学到 / 用在工作里
    • MCP Apps 把交互界面带进 agent 对话:工具调用变成 widget
    • 告诉模型 UI 里发生了什么,支持消息、流式输入与额外工具调用
    • 区分用户看到的和模型收到的,用 mcp-use SDK 与 inspector 本地测试
    • 产品与交互
    • 上下文 / Skills / MCP
  710. 6:01
    Your AI Product Will Fail Unless You Can Explain It - Veronica Hylak, Hey AI

    Hey AI:讲不清你的 AI 产品就会失败——从具体客户痛点出发,用熟悉的例子和视觉类比,描述用户工作流的具体变化。

    可以学到 / 用在工作里
    • 买家先要认出问题,才会在意架构
    • 从客户的痛点出发,给一个具体的心智图像
    • 讲清客户工作具体怎么变,避免「agentic 编排平台」这类空话
    • 创业
    • 产品与交互
  711. 22:35
    Continual Learning for AI Agents: From Failures to Durable Improvements - Soheil Feizi, RELAI

    RELAI 的可验证持续学习:生产失败和反馈驱动模型、harness、记忆三层的改进,比较 SFT、RL、LoRA 与 GEPA 式提示优化。

    可以学到 / 用在工作里
    • 可验证持续学习四原则:可回放、整体性、终身性、效率
    • 日志加反馈仍不是测试,要有可回放环境
    • 选择最小的持久修改(模型、harness 或记忆层),优化时保留过去的成功,防回归
    • 模型与训练
    • 评测
  712. 19:33
    The Missing Layer After Launch - Raphael Kalandadze, Wandero AI

    Wandero AI:上线后缺失的一层——监控真实对话,agent 分析 trace 和日志、诊断根因、起草 PR,由独立评审 agent 复核后升级给人。

    可以学到 / 用在工作里
    • demo 能跑不代表能帮到真实用户,对话无法穷举
    • 恢复会掩盖缺陷,完成的行程也可能是错的
    • agent 分析 trace 与日志、诊断根因、起草 PR,经独立评审 agent 复核后再升级给人
    • 评测
    • Harness 与架构
  713. 20:13
    The Prompt Is Still a Punch Card - Ted Johnson, JoinIn AI

    JoinIn AI:提示仍是一张打孔卡——人必须拼出完整请求、提交、等待、重试;模型能力突飞猛进而交互设计停滞。

    可以学到 / 用在工作里
    • 提示仍像打孔卡:拼出完整请求、提交、等待、重试
    • 更快的批处理仍是批处理,组装请求本身成为专长
    • 对话式 AI 需要新的协议:让出、倾听、识别对谁说话
    • 产品与交互
  714. 20:43深读
    Building Great Agent Skills: The Missing Manual

    Matt Pocock「好 agent skill 的缺失手册」:用 skill 检查清单(触发、结构、引导、修剪)摆脱 skill 地狱,权衡用户调用与模型调用,步骤与参考分开。

    可以学到 / 用在工作里
    • 盘点团队的 skills:哪些应改为用户手动调用以减少上下文负载,哪些需要模型自动触发。
    • 每个 skill 拆成步骤 + 参考,模板与长文档放在引用文件里按需读取。
    • 定期做删除测试:去掉一段后行为不变,就删掉它。
    • 上下文 / Skills / MCP
  715. 30:38
    The Future Is Domain-Specific Agents - Justin Schroeder, StandardAgents

    StandardAgents:未来属于领域专用 agent,组合窄范围 agent 而不是给一个通用 agent 塞满工具、MCP 和 skills;持久执行、上下文积累、token 经济。

    可以学到 / 用在工作里
    • 业务问题的本质是集成:demo 之后大部分工程还没做
    • 组合完整的领域专家 agent,而不是给一个通用 agent 塞满工具
    • 更小的上下文更省 token、更可靠,持久执行与上下文积累
    • Harness 与架构
    • 行业应用
  716. 34:49
    The Agentic AI Engineer - Benedikt Sanftl, Mutagent

    Mutagent:agentic AI 工程师工作流——离线构建与评测循环 + 在线监控、trace 诊断与优化,校准的 LLM 评委。

    可以学到 / 用在工作里
    • 评审改动成为瓶颈时,每个阶段要有明确职责
    • 规格与运行时无关,先发现什么叫够好
    • 评估轨迹并让失败可操作,把重复失败变成更便宜的检查,实验连回生产
    • 评测
    • Harness 与架构
  717. 30:51
    Frontier results, on device - RL Nabors, Arize

    Arize:用任务专用和端侧模型替代部分云端前沿模型调用,降低隐私暴露、延迟和成本,对比 Qwen、Llama、Gemma 并用 Phoenix 评测。

    可以学到 / 用在工作里
    • 任务窄、验收标准明确时,本地小模型能替代前沿调用
    • 先原型化功能并收集可接受输出作为黄金数据集,把产品需求变成评测检查
    • 找到小而够用的模型(1–3B),先改提示再考虑微调
    • 模型与训练
    • 评测
  718. 7:13
    Deterministic Infra for Non-Deterministic AI Agents - Nishant Gupta, Meta Superintelligence Labs

    Meta 超级智能实验室:用确定性基础设施运营非确定性 agent,长时有状态工作流、重试放大与 GPU 成本失控、共享记忆一致性、控制面。

    可以学到 / 用在工作里
    • agent 生产故障多是基础设施问题:递归循环、重试放大、上下文损坏、成本爆炸
    • 给模型提议权而非生产权限,控制面要有决策历史
    • 协调共享记忆、分层安全、路由异常,推理变成调度问题
    • 基础设施与算力
    • Harness 与架构
  719. 14:09
    Your Agent Failed in Prod. Good Luck Reproducing It. - Tisha Chawla & Susheem Koul, Microsoft

    Microsoft:生产 agent 故障难以复现(模型架构、GPU 执行和批处理带来非确定性),在每个 agent 边界记录语义输入输出,用 Chronicle 回放。

    可以学到 / 用在工作里
    • temperature 0 不冻结服务系统:批处理和 GPU 时序会翻转 token
    • 在每个 agent 边界记录语义输入输出,恢复运行而不是重新生成
    • 用录制回放坏决策测试修好的工具(美元误当股数的案例),执行与行为分开测
    • 评测
    • 基础设施与算力
  720. 15:45
    You Can't Prompt the Room: The Last Skill AI Won't Replace - Balázs Horváth, VisualLabs

    VisualLabs:AI 无法替代的最后一项技能是「读懂会议室」——黑客松 21 个 agent 点子否掉 17 个,用故事地图、用户故事和四问价值框架。

    可以学到 / 用在工作里
    • 实现变便宜后,需求发现更关键:瓶颈是接触到利益相关方
    • 用故事地图梳理流程并切第一版,故事变成规格与测试
    • 四问把需求具体化,价值→架构→设计,看用户是否回来用
    • 产品与交互
    • 团队与组织
  721. 17:33
    The Prompt is the Platform - Dominik Tornow, Resonate HQ

    Resonate:提示就是平台——编码 agent 能从抽象规格和现有基础设施生成定制实现,替代通用软件平台(持久执行协议的 NATS 实现)。

    可以学到 / 用在工作里
    • 复用规格而不是通用实现:从抽象协议派生定制实现(NATS、Postgres)
    • 先在仿真中设计分布式算法,再为生产构建
    • 小协议也有巨大行为空间,第一轮尝试会暴露设计缺口
    • 范式与判断
    • 基础设施与算力
  722. 14:40
    Using RL Agent to Detect and Remediate ETL Pipeline Failures - Anna Marie Benzon

    用 RL agent 检测和修复 ETL 管线故障:AWS 事件驱动架构,确定性异常规则 + 可解释 Q-learning + 有界修复动作 + 独立安全覆盖。

    可以学到 / 用在工作里
    • 失败的数据任务需要的不只是重试
    • 把事实、选择与权限分开:规则检测异常、可解释 Q-learning 选动作、独立安全覆盖
    • 策略不能给自己授权,用可复核的实验检验学习到底贡献了什么
    • 基础设施与算力
    • 模型与训练
  723. 10:42
    We Cut 94% of AI Coding Tokens With a Local Code Index - Rajkumar Sakthivel, Tesco

    Tesco:本地代码索引减少 94% 的 AI 编码 token——索引片段、跨文件关系、轻量相关性打分与共享项目记忆(相对基线需谨慎解读)。

    可以学到 / 用在工作里
    • 本地代码索引减少发给助手的代码,五阶段检索
    • 两种搜索覆盖不同错误,排除貌似相关的结果
    • 节省多少取决于基线和仓库,一个索引可跨 Claude Code、Cursor、Copilot 共享
    • 上下文 / Skills / MCP
    • 编码 agent
  724. 7:00
    HTML is All You Need (for Agents to Make Graphics) - Amol Kapoor, Nori

    Nori:HTML 就是 agent 做图形所需的一切——agent 在面向人的画布和坐标密集的 SVG 上吃力,HTML/CSS 是 agent 原生的结构化表示,可渲染成幻灯片、文档、视频和 PDF。

    可以学到 / 用在工作里
    • agent 在面向人的画布和坐标密集的 SVG 上吃力
    • 用 HTML/CSS 写结构,让浏览器负责排版
    • 同一源格式可产出幻灯片、文档、视频和 PDF,但内容本身仍需要观点
    • 产品与交互
    • 多模态与语音
  725. 28:52
    AI System Design: From Idea to Production - Apoorva Joshi, MongoDB

    MongoDB:AI 系统设计从想法到生产——定义业务问题和成功指标、人工审核与基础设施约束、何时用 RAG、护栏与评测标准。

    可以学到 / 用在工作里
    • 先量化业务问题、界定系统边界
    • 让证据可用并保持最新,向量检索会漏掉诊断与操作代码,需要混合检索
    • 画出流程再选 agent,按流程需要决定自主程度,设计人工审核与评测
    • 产品与交互
    • Harness 与架构
  726. 17:47
    Using Spec-Driven Development for Production Workflows - Erik Hanchett, AWS

    AWS:用规格驱动开发做生产工作流——先生成并评审需求、设计文档和实现计划再写代码,Kiro 的 steering 文档与 skills,人对代码评审负责。

    可以学到 / 用在工作里
    • 先生成并评审需求、设计和实现计划,再让 agent 写代码
    • steering 文档提供上下文,审查 Markdown 中的不一致与幻觉
    • 第一个任务就交付可运行的东西,把约定的行为变成测试
    • 上下文 / Skills / MCP
    • 质量与评审
  727. 17:36
    Building an Autonomous Engineering Org - Angie Jones, Agentic AI Foundation

    Angie Jones:把 Block 3500 人的工程组织从低影响的 AI 工具使用转向 agent 驱动交付——goose 与 MCP、六阶段成熟度模型、1-9-90 法则培养 AI 带头人、仓库就绪度。

    可以学到 / 用在工作里
    • AI 使用率高不等于交付更快,要从辅助转向指挥工作
    • 用 1-9-90 法则培养少数 AI 带头人,让仓库为委托做好准备
    • 在工作已到达的地方(Jira、Linear、GitHub)委托,并行 agent 会暴露评审瓶颈
    • 团队与组织
  728. 30:14
    Agents Building Agents - Alfonso Graziano, Nearform

    Nearform:agent 造 agent——编码 agent 通过规格驱动工程、金标数据集、评测打分器和人工监督迭代改进生产 agent(Mastra + AutoAgent 循环)。

    可以学到 / 用在工作里
    • 先定义行为(金标数据集、打分器)再优化
    • 编码 agent 检查失败、测试具体假设,只保留通过评测的改动
    • 禁止 agent 改金标集或打分器来让评测通过,记录失败的实验
    • Harness 与架构
    • 评测
  729. 20:40
    Structuring the Unstructured - Cedric Clyburn, Red Hat

    Red Hat 开源 Docling:本地运行的文档处理工具包,把 PDF 等非结构化文档转为结构化 Markdown/JSON/HTML/Pydantic,兼顾 OCR、版面、表格与图片。

    可以学到 / 用在工作里
    • PDF 中的版面、表格、图片关系在廉价文本抽取时丢失
    • 用 Docling 本地恢复结构,再选择 Markdown/JSON/Pydantic 输出
    • 检查文档对象、增强图表描述,按文档结构检索后再把转换工具暴露给 agent
    • 检索与知识
  730. 5:55
    Your Agent Is Wasting Tokens and You Don't Know It - Erik Hanchett, AWS

    AWS:agent 在浪费 token 你却不知道——缓存提示、按难度路由模型、卸载并摘要大工具结果、限制重复工具调用、滑动窗口管理历史。

    可以学到 / 用在工作里
    • 缓存重复的系统提示,按难度路由模型(Haiku/Sonnet)
    • 大工具结果卸载并摘要,不要每轮都回传
    • 限制循环次数、检查工具行为,用滑动窗口修剪历史并保留摘要
    • 基础设施与算力
    • 上下文 / Skills / MCP
  731. 4:25
    Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, Sarvam AI

    Sarvam AI:浏览器 agent 不需要更好的模型,需要更好的「眼睛」——紧凑的 Markdown 页面表示与动作反馈。

    可以学到 / 用在工作里
    • 浏览器 agent 浪费强模型在碎片化的页面视图上
    • 整页 Markdown(约 1800 token)比 DOM(约 2 万 token)紧凑,和截图互补
    • 动作后报告页面增量,给出明确的成功反馈
    • Harness 与架构
    • 多模态与语音
  732. 13:05
    Voice In, Visuals Out: The Agony and the Ecstasy - Allen Pike, Forestwalk Labs

    Forestwalk Labs:语音输入、视觉输出的会议助手,无缝交互需要约 200ms 响应,推荐面向延迟的推理和稳定前缀缓存。

    可以学到 / 用在工作里
    • 语音传达意图快,但口头回复时间要求苛刻
    • 输出形式决定延迟预算:视觉输出给 agent 更多时间
    • 说话者停下前就开始推理,保持前缀稳定、输出简短以利缓存
    • 多模态与语音
    • 产品与交互
  733. 28:27
    The 100-Tool Agent Is a Trap - Sohail Shaikh & Ankush Rastogi, Prosodica

    Prosodica:100 个工具的 agent 是陷阱——每次都塞全部工具 schema 越来越慢、越贵、越不准;用语义路由(工具的 RAG)按需注入相关能力。

    可以学到 / 用在工作里
    • 每次塞入全部工具 schema 越来越慢、贵、不准
    • 语义路由:先检索工具再加载 schema(工具的 RAG)
    • 衡量工作集而不只是工具目录大小,检索到的 schema 就是模型实际的工具列表
    • 上下文 / Skills / MCP
    • Harness 与架构
  734. 19:00
    AI-Driven Multi-Document Correlation for Financial Compliance - Varsha Shah, Independent

    跨多文档关联检测金融合规风险:基于图的实体关联、概率风险建模、跨司法辖区规范化,并纳入调查员反馈。

    可以学到 / 用在工作里
    • 单条有效记录可能掩盖整体风险
    • 图关联实体、概率打分(异常强度、来源可靠性、历史模式)
    • 跨司法辖区规范化记录但保留监管语境,纳入调查员反馈减少低价值告警
    • 行业应用
    • 检索与知识
  735. 24:35
    OpenClaw in Your Hand: Building a Physical AI Terminal - Lech Kalinowski, Callstack

    Callstack:掌上的 OpenClaw——基于 ESP32 的实体文字终端控制 OpenClaw agent,在 DGX Spark 上本地推理。

    可以学到 / 用在工作里
    • ESP32 + 键盘 + OLED/墨水屏做成安静的 agent 终端
    • 推理放在 DGX Spark,手持设备只负责输入与显示
    • 供电也是界面的一部分,保留可用路径
    • 产品与交互
    • Harness 与架构
  736. 15:37
    User Signal Dies at the Retrieval Boundary - Sonam Pankaj, StarlightSearch

    StarlightSearch:用户信号在检索边界处消失——可观测 trace 和评测结果从未影响后续检索;Reflect 按语义相关性与实际效用排序过往经验,把成功经验变成 skills。

    可以学到 / 用在工作里
    • 用户信号在检索边界消失:评测和 trace 从不影响下一次检索
    • 按语义相关性和实际效用给过往经验排序
    • 把成功经验变成可复用 skill,区分记住偏好与学习有用性
    • 检索与知识
    • Harness 与架构
  737. 5:52
    When All Context Matters: Extended Cache Augmented Generation - Luis Romero-Sevilla, Orbis

    Orbis:扩展缓存增强生成(ECAG),针对快速变化、信息分散且高度互联的文档集,用并行的缓存上下文桶 + 监督模型综合答案。

    可以学到 / 用在工作里
    • 文档变化快、彼此高度关联时,向量 RAG 丢上下文、GraphRAG 要不断重建
    • 把文档分到多个并行缓存上下文桶(CAG 扩展)
    • 监督模型通过追问各桶构建理解,缓存生命周期是设计的一部分
    • 检索与知识
  738. 45:47
    Bypassing the Multimodal Tax: Hybrid RAG, SQL RRF & UI Telemetry - Abed Matini, Ogilvy

    Ogilvy 工作坊:本地优先的员工手册问答助手,轻框架混合 RAG(PostgreSQL + RRF),提示注入防护与 Langfuse 可观测。

    可以学到 / 用在工作里
    • 在员工提问前预处理手册,让文档结构和切块可见
    • PostgreSQL 混合检索 + RRF,每个答案可追溯到具体切块
    • 可预测的工作留在 Python 里,加入提示注入防护和 Langfuse 遥测
    • 检索与知识
  739. 14:57
    Research to Reality: Bringing Frontier ML Research to Production - Vaidas Razgaitis, Higharc

    Higharc:把前沿 ML 研究带进生产——用技术设计文档提升研究可读性,monorepo 中解耦的 Python 服务、Docker 网关与 FastAPI。

    可以学到 / 用在工作里
    • 用技术设计文档让研究原型可读
    • 在 monorepo 中给研究独立的服务边界,复用服务结构而不是研究代码
    • 用堆叠 diff(Graphite)拆解大型原型 PR,让合适的人评审
    • 团队与组织
    • 基础设施与算力
  740. 39:32
    Turn 10,994 Notes Into Memory - Paul Iusztin, Decoding AI & Louis-François Bouchard, Towards AI

    把 10994 条笔记变成记忆:开源、基于文件的 AI Research OS,把个人知识变成 agent 的持久上下文,轻量个人研究 wiki。

    可以学到 / 用在工作里
    • 把散落在各处的笔记统一进 Obsidian,让记忆离开对话
    • 从主题 + 金标链接生成报告,再让第二大脑提供种子
    • 保留来源与参考索引,从摘要渐进阅读,形成可持续增长的项目 wiki
    • 检索与知识
    • 上下文 / Skills / MCP
  741. 20:56
    Stop Writing Tone Instructions. Layer Them. - Isadora Martin-Dye, Isadora & Co

    别写语气指令,分层写:不可变的身份与披露规则、情境上下文、以示例锚定的语气、确定性的生成后否决层(婚礼场地助手、寻人工具例子)。

    可以学到 / 用在工作里
    • 语气指令要分层:不可变的身份与披露规则在最底层
    • 情境上下文决定路线(如照顾生病父母的情侣需要耐心)
    • 示例教表达而不是保证,生成后有确定性否决层拦截无依据的承诺
    • 上下文 / Skills / MCP
    • 产品与交互
  742. 18:29
    Agents in Production: How OpenGov Built and Scaled OG Assist - Gabe De Mesa, OpenGov

    OpenGov 构建并扩展政府软件里的 OG Assist:工具调用架构、Effect + TypeScript、A2A 扩展、人工审批门、长上下文记忆与可观测性。

    可以学到 / 用在工作里
    • 从回答问题到在页面上执行动作,用 Effect 自己拥有 agent 循环
    • 前后端共享契约,需要审批的变更操作前中断
    • 代码在隔离环境执行,生产反馈与 CI 评测结合
    • Harness 与架构
    • 行业应用
  743. 19:59
    A Genius With Amnesia - Victor Savkin, Nx

    Nx 的 Victor Savkin:编码 agent 像失忆的天才——仓库可见性碎片化、记不住之前的会话;Polygraph 元 harness 映射跨仓库依赖、协调改动与 CI、保留组织上下文。

    可以学到 / 用在工作里
    • 编码 agent 是失忆的天才:仓库边界限制了它能改什么
    • 仓库图谱涵盖组织产物和依赖的开源仓库,让多个仓库像一个代码库
    • 记录工作而不只是对话,跨前后端在一次会话中完成并交接
    • 上下文 / Skills / MCP
    • 编码 agent
  744. 23:48
    Recursive Coding Agents - Raymond Weitekamp, OpenProse

    OpenProse:可靠的编码 agent 需要面向结果的编排而不只是更强的模型;递归语言模型把上下文外化到 REPL、符号化操作、递归委托。

    可以学到 / 用在工作里
    • 可靠的编码 agent 需要分解工作、保存状态和验证委托结果
    • 把上下文变成计算对象(递归语言模型),模型自己选择分解方式
    • 可执行环境不必是 Python,复用成功的工作流
    • Harness 与架构
    • 编码 agent
  745. 19:38
    Build Systems, Not Code - Angie Jones, Agentic AI Foundation

    Angie Jones:构建系统而不是代码——用找房 agent 演示工作流设计、拆分过大的提示、确定性自动化、受 Karpathy llm-wiki 启发的结构化可查询记忆、状态跟踪与崩溃恢复。

    可以学到 / 用在工作里
    • 模型写代码后,工程转向工作流、组件边界、持久记忆、安全重试和人的权限
    • 找出藏在大提示里的多个工作,复用能力而非每条指令
    • 明确哪些是确定性、哪些是判断、哪些需要人授权,只重试未完成的部分
    • Harness 与架构
    • 范式与判断
  746. 58:17
    The Miranda Hypothesis: How Hamilton Poisoned Persona Evals - Jacob E. Thomas, Results Gen

    「米兰达假说」:角色扮演 agent 复现的是流行文化中的历史人物合成形象(如音乐剧里的汉密尔顿),而非依据当时文献推理;提出时间约束的预注册评测。

    可以学到 / 用在工作里
    • 角色扮演 agent 复现的是流行文化中的合成形象,而非当时文献
    • 性格分数无法证明历史忠实度,日期截断也不能确定一个人知道什么
    • 把「相遇」作为工程单位,用时间约束的预注册评测
    • 评测
  747. 15:11
    The Log Is The Agent - Ishaan Sehgal, Omnara

    Omnara:日志就是 agent——agent 的持久身份在会话日志而不在模型、运行时或机器,像游戏存档一样支持崩溃恢复、分支和跨模型迁移。

    可以学到 / 用在工作里
    • agent 的持久身份在事件日志里,而不是模型、运行时或机器
    • 压缩是尽力而为的有损分叉,可以作为新日志继续
    • 以日志为主可以恢复权限提示、替换 worker、分支和跨模型迁移
    • Harness 与架构
    • 基础设施与算力
  748. 8:12
    Production Evals For Agentic AI Systems - Nishant Gupta, Meta Superintelligence Labs

    Meta:agent 系统的生产评测——离线基准和答案准确率反映不了生产行为,要评估完整工作流、工具使用、故障恢复,用 SRE 式可靠性指标与分布式追踪。

    可以学到 / 用在工作里
    • 离线基准提升,生产可靠性仍不可预测
    • 评测应以场景驱动而非提示驱动,用 SRE 视角分层看失败
    • 用工作流 trace 检测漂移,部署后评测回路继续
    • 评测
    • 基础设施与算力
  749. 17:50
    6 Things to Know about AIE World's Fair 2026

    swyx 预告 2026 World's Fair 的六件事:扩大的技术议程、Autoresearch 与模型基础设施主题、展区、研究与产业连接、行业垂直专场。

    可以学到 / 用在工作里
    • 大会议程扩展到 Autoresearch、模型基础设施和行业垂直专场
    • 展区与研究海报是了解前沿的重要入口
    • 为录像无法替代的现场交流留出时间
    • 大会与活动
  750. 37:05
    The Production AI Playbook: Deploying Agents at Enterprise Scale — Sandipan Bhaumik, Databricks

    Databricks:企业规模部署 agent 的生产手册——定义可衡量的业务结果、持续更新的评测集、追踪与可观测、受治理的数据基础和运营负责制;先建评测再选模型。

    可以学到 / 用在工作里
    • 先定义可衡量的业务结果,评测就是系统规格
    • 用 trace 追踪具体案例(透支费争议),治理 agent 读写的数据
    • 按依赖选择协作方式,治理动作、提示变更与模型更换,建立事故响应
    • 团队与组织
    • 评测
    • 基础设施与算力
  751. 15:48
    Your Agent's Biggest Lie: "I Searched the Web" — Rafael Levi, Bright Data

    Bright Data:agent 最大的谎言是「我搜索了网页」——被拦截、空结果或过期的访问被当成成功,造成虚假引用。

    可以学到 / 用在工作里
    • agent 最大的谎言是「我搜索了网页」:被拦截、空结果、过期内容被当成成功
    • 约 20% 网站屏蔽 AI 爬取,还有诱捕陷阱提供假数据
    • 明确报告失败,区分访问页面与验证内容,只暴露任务需要的工具
    • 检索与知识
    • 评测
  752. 18:46
    You Might Not Need 50 Diffusion Steps — Ziv Ilan, Nvidia

    NVIDIA:扩散模型也许不需要 50 步——量化、缓存、蒸馏叠加实现实时图像视频生成(FLUX.2 on Blackwell、TensorRT)。

    可以学到 / 用在工作里
    • 扩散模型降延迟的三条路:量化让每次计算更便宜
    • 缓存复用变化很小的步骤(TeaCache)
    • 蒸馏减少步数,三者可叠加实现实时生成
    • 基础设施与算力
    • 多模态与语音
  753. 20:11
    Why MCP and ChatGPT Apps Use Double Iframes — Frédéric Barthelet, Alpic

    Alpic:为什么 MCP 和 ChatGPT 应用用双层 iframe——CSP、脚本 nonce、srcdoc 与存储隔离,开源 Skybridge 框架。

    可以学到 / 用在工作里
    • 在对话里嵌入应用需要隔离宿主数据、保留应用存储并执行正确的安全策略
    • 直接 srcdoc 注入会继承错误的环境,沙箱又会移除太多能力
    • 双层 iframe:可复用加载器 + 每个应用独立 origin,显式声明 CSP
    • 产品与交互
    • 安全与隔离
  754. 25:17
    Your Attention Is the Bottleneck, Not Your Agents — Zack Proser, WorkOS

    WorkOS 的 Zack Proser:瓶颈是你的注意力而不是 agent——Claude Code + Slack + Linear + MCP 无人干预地完成并验证修复,语音优先的并行工作流,分层的 lint/构建/测试/浏览器验证门。

    可以学到 / 用在工作里
    • 瓶颈是你的注意力:执行扩展得比判断快
    • 过滤进入的工作、降低指挥成本(语音输入),离开桌面时执行继续
    • 独立完成要以分层验证为前提(lint、构建、测试、浏览器),留出时间远离屏幕
    • 编码 agent
    • 团队与组织
  755. 21:33
    The agent-ready web: Simplify user actions with WebMCP — Tara Agyemang, Google

    Google Chrome:WebMCP 提案让网站向 agent 暴露结构化工具,取代脆弱的 DOM 检查和截图;语义化 HTML、无障碍与性能仍是前提。

    可以学到 / 用在工作里
    • WebMCP 让网站向浏览器 agent 暴露结构化工具,取代 DOM 推断与截图
    • 先让页面本身可用(语义化 HTML、无障碍),再暴露能力
    • 声明式 API 暴露表单,JavaScript 注册自定义动作,用户可以跟随调用过程
    • 产品与交互
    • 上下文 / Skills / MCP
  756. 19:05
    Why Can't Anyone Answer Questions About the Business? — Garrett Galow, WorkOS

    WorkOS 的 Studio:让员工自己回答业务问题、生成连数据的可复用组件,LangGraph + Opus、可执行 API 与查询、校验 Snowflake 结果,不需要专门的 RAG 库。

    可以学到 / 用在工作里
    • 业务问题会变成排队,让员工自助回答并把答案变成可复用工具
    • 教 agent 表之间的 join 和业务规则
    • 模型生成 widget,JavaScript 无需模型即可运行,并校验数据结果与访问边界
    • 检索与知识
    • 团队与组织
  757. 20:55
    Stop Making Models Bigger, Make Them Behave — Kobie Crawford, Snorkel

    Snorkel AI:别把模型做大,让它守规矩——4B 模型用 RL(GRPO)+ 专家数据 + rLLM 框架提升金融分析工具使用,对比 235B 模型糟糕的 SQL 行为。

    可以学到 / 用在工作里
    • 小模型失败常因跳过 schema 发现,而不是缺数学能力
    • 构建答案可获得、可验证的任务,用 GRPO 强化学习改变行为
    • 训练后的 4B 模型会先发现和检查数据,工具使用超过 235B 模型
    • 模型与训练
    • 行业应用
  758. 15:39
    Self Driving Products: Product Signals to Pull Requests — Joshua Snyder, PostHog

    PostHog「自动驾驶的产品」:把产品分析、错误、会话回放和客户消息变成自动生成的 GitHub PR——摄取、筛查不安全指令、语义分组、研究 agent 调查再实现。

    可以学到 / 用在工作里
    • 把产品分析、错误、会话回放和客户消息变成 PR
    • 先把观察变成问题再写代码,过滤不可信内容并按根因语义分组
    • 研究 agent 带产品、代码和组织上下文调查,通过可执行性门槛才进入实现
    • 软件工厂 / 多 agent
    • 产品与交互
  759. 20:52
    Sovereign Escape Velocity: Ownership w Open Models — Gus Martins, & Ian Ballantyne, Google DeepMind

    Google DeepMind:用开放模型 Gemma 4 获得数据、基础设施、部署与定制的主权,手机和单 GPU 部署,编码与 agent 负载的经济性。

    可以学到 / 用在工作里
    • 拥有模型决定数据能去哪里、哪些任务划算、谁来运维
    • 看有效参数与激活计算,能力够用即可
    • 许可证是运维独立性的一部分,按四个阈值判断是否把 agent 工作卸载到本地
    • 模型与训练
  760. 1:07
    2026 AI Engineer Vibe Reel

    2026 AI Engineer 大会花絮短片。

    可以学到 / 用在工作里
    • 2026 大会花絮
    • 展示现场氛围与规模
    • 无技术内容
    • 大会与活动
  761. 11:13
    RAG is dead, right?? — Kuba Rogut, Turbopuffer

    turbopuffer:RAG 死了吗?没有,它在演变成 agentic 检索(向量 + BM25 + grep + glob + 正则 + 过滤);对比 Claude Code 的文件系统搜索与 Cursor 的预索引语义检索(准确率平均提升 12.5%),嵌入是缓存的计算。

    可以学到 / 用在工作里
    • RAG 没死,它在变成 agentic 检索:向量、BM25、grep、glob、正则、过滤组合
    • Cursor 用 Merkle 树复用代码库索引,语义检索平均提升准确率 12.5%
    • 嵌入是缓存的计算,更大上下文仍需选择
    • 检索与知识
  762. 20:18
    GPU Cloud Deployment Without Leaving Your IDE — Audry Hsu, RunPod

    RunPod:不离开 IDE 部署 GPU 云,Flash Python SDK 把装饰过的函数发到云端 GPU worker 执行。

    可以学到 / 用在工作里
    • 用 Python SDK 把装饰过的函数发到云 GPU worker,开发循环留在本地
    • 配置 worker、修改提示、替换模型
    • 扩展成带提示扩写与照片合成的流水线,并清楚哪些资源仍在运行
    • 基础设施与算力
  763. 19:33
    From Transcription to Live Music: Gemini's Audio Stack — Thor Schaeff, Google DeepMind

    Google DeepMind 的 Gemini 音频栈:转写、情绪、翻译、结构化输出,提示控制的合成语音,Gemini Live 实时对话与互动音乐生成。

    可以学到 / 用在工作里
    • 音频模型可从一段多语言录音输出转写、情绪、翻译和结构化数据
    • 先选基础音色再用提示导演表演
    • 实时对话无需文本中转,还能交互式生成音乐
    • 多模态与语音
  764. 24:50
    Why Eval++ Is the Next Great Compute Primitive — Sunil Pai & Matt Carey, Cloudflare

    Cloudflare:Durable Objects 为协作 agent 提供可寻址、持久、低延迟的状态,在受限的 Dynamic Workers 中执行模型生成的代码,用 Code Mode 把 Cloudflare API 压缩成少量 MCP 工具。

    可以学到 / 用在工作里
    • Durable Objects 给协作 agent 提供可寻址、持久、低延迟的状态
    • 在隔离的 Dynamic Workers 中执行模型生成的代码,只授予显式能力
    • Code Mode 把庞大的 API 压缩成少量 MCP 工具,让 agent 扩展自己
    • 基础设施与算力
    • Harness 与架构
  765. 26:27
    Why More Context Makes Your Agent Dumber and What to Do About It — Nupur Sharma, Qodo

    Qodo:为什么更多上下文让 agent 更笨——中间信息丢失,对比依赖映射、知识图谱与评审者自纠正,强模型把 token 花在规划而不是完成工作上。

    可以学到 / 用在工作里
    • 更大的上下文窗口不保证更好的评审,容量不等于可用上下文
    • 选择能维护的上下文策略,限制探索,别让模型只顾研究方法而不完成任务
    • 专门 agent 需要评委区分学到的偏好与必须遵守的规则
    • 上下文 / Skills / MCP
  766. 15:50
    Road to 5 Million Tokens: Breaking Barriers in Long Context Training — Max Ryabinin, Together AI

    Together AI:迈向 500 万 token 的长上下文训练——FSDP、DeepSpeed-Ulysses 上下文并行、CPU 激活卸载、分块计算,以及按注意力头分组的 UPipe。

    可以学到 / 用在工作里
    • 长上下文训练的关键是缩小同时驻留 GPU 的东西:先参数,再激活与中间缓冲
    • FSDP + Ulysses 上下文并行、CPU 激活卸载、分块计算
    • 按注意力头分组复用缓冲(UPipe),持续找下一个成为主导的内存分配
    • 模型与训练
    • 基础设施与算力
  767. 16:32
    LLM Observability, Evaluation, Experimentation Platform — Dat Ngo, Arize

    Arize:用 OpenTelemetry trace 暴露 agent 的非确定行为、回归和工具调用顺序错误,用金标集校准 LLM 评委,配合便宜的确定性检查。

    可以学到 / 用在工作里
    • 用 OpenTelemetry trace 记录执行并跨运行跟踪状态,找到失败路径
    • 让领域专家定义预期体验,用金标集校准 LLM 评委
    • 按问题选择信号,便宜的确定性检查配合多 span 评测,把弱信号变成实验
    • 评测
  768. 25:25
    From MCP to Scale: Pipelines That Build Themselves — Rafael Levi, Bright Data

    Bright Data:Bright Data MCP + Claude Code + brightdata/skills 让 agent 检查网站、生成可复用的抓取脚本并自我修复,比反复用 LLM 解析页面省 token。

    可以学到 / 用在工作里
    • 一万个商品不该意味着一万次 LLM 抽取:让 agent 生成可复用抓取脚本
    • 模型只用于构建、检查和修复管线,省下大量 token
    • 旧脚本失效时重新测试,把搜索变成定时监听
    • 检索与知识
    • 上下文 / Skills / MCP
  769. 13:26
    Under 5 minutes to a deployed LLM endpoint — Audry Hsu, RunPod

    RunPod:5 分钟内部署一个 LLM 端点(Pods、Serverless、Clusters、Hub)。

    可以学到 / 用在工作里
    • 从 Hub 的 vLLM 模板部署 Qwen 端点
    • 配置 worker 容量、常驻 worker 与支出上限
    • 区分冷启动排队延迟与推理执行时间
    • 基础设施与算力
  770. 16:06
    Building Interactive UIs in VS Code with MCP Apps — Marlene Mhangami & Liam Hampton, GitHub

    GitHub:在 VS Code 里用 MCP Apps 构建交互界面,沙箱 iframe 隔离,Excalidraw 与 Shopify 示例。

    可以学到 / 用在工作里
    • 在聊天里放交互界面:宿主把资源渲染成沙箱 iframe
    • 有些操作点击比再写一条提示更好
    • 构建工具、HTML 资源与它们之间的链接(Go 性能剖析示例)
    • 产品与交互
    • 上下文 / Skills / MCP
  771. 19:04
    Evals Are Broken, Use Them Anyway — Ara Khan, Cline

    Cline 的 Ara Khan:评测有缺陷但仍要用——SWE-bench Verified 的局限,构建更贴近真实编程流程的评测,Terminal-Bench 的环境配置影响。

    可以学到 / 用在工作里
    • 相近的基准分数可能是完全不同的 agent:用外部分数决定调查什么
    • 从直觉转向用户真实执行的任务,给修复打分而不只给答案打分
    • 每个任务完整隔离的环境,并发运行,把失败运行变成改进
    • 评测
  772. 18:45
    Building safe Payment Infrastructure for the autonomous economy — Steve Kaliski, Stripe

    Stripe:为自主经济构建安全支付——把非确定性的发现与确定性的凭据、结账、支付分开,花费控制与共享支付令牌,机器支付协议 MPP。

    可以学到 / 用在工作里
    • 把非确定性的发现与确定性的凭据、结账和支付分开
    • 共享受限凭据(如限额 25 美元、30 天有效)而非卡号
    • 支付附在请求的资源上(机器支付协议),结账状态由商家掌握
    • 行业应用
    • 安全与隔离
  773. 16:44
    Dark Factory: OpenClaw Ships Faster Than You Can Read the Diff — Vincent Koc, OpenClaw

    OpenClaw 维护者:黑暗工厂——开发者监督大量并行编码 agent 而不是手写每个改动,工程判断、agent 监督、模块化集成与 token 效率比最大化产出更重要。

    可以学到 / 用在工作里
    • agent 产出比维护者读 diff 还快时,工作转向任务分配、回归信号与可复用 skill
    • 吞吐数字不是目标,别只追求 commit 和 token 最大化
    • 在移动的代码库上协调并发 agent,按泳道分配注意力
    • 软件工厂 / 多 agent
    • 编码 agent
  774. 22:38
    Building Agent Interfaces: Lessons from Chrome DevTools (MCP) for Agents — Michael Hablich, Google

    Google Chrome DevTools MCP 的经验:对超大性能 trace 做语义摘要,以「每个成功结果的 token 数」衡量效率,工具分类与描述的取舍,可操作的错误恢复。

    可以学到 / 用在工作里
    • 用语义摘要替代超大性能 trace 转储
    • 按每个成功用户旅程的 token 成本衡量效率,减少上下文但不移除必要能力
    • 错误要导向下一步动作,工具描述简洁但意图可发现(多数 MCP 工具描述质量有问题)
    • 上下文 / Skills / MCP
    • 产品与交互
  775. 25:19
    Beyond Transcription: Building Voice AI That Understands Conversations — Hervé Bredin, pyannoteAI

    pyannoteAI:只有转写不够,要知道谁说了什么;说话人分离与 Whisper 和下游 LLM 结合,用于会议摘要和播客分析。

    可以学到 / 用在工作里
    • 只有转写不够,还要知道谁说了什么、何时打断
    • 说话人分离不输出身份,只给一致的标签
    • 准确率取决于录音条件,把分离结果与转写对齐仍然困难
    • 多模态与语音
  776. 28:03
    Text Diffusion — Brendan O’Donoghue, Google DeepMind

    Google DeepMind 的文本扩散:Gemini Diffusion 通过迭代去噪生成文本而非逐 token 预测,加速器利用率、延迟吞吐权衡、双向推理与自我纠错。

    可以学到 / 用在工作里
    • 文本扩散把生成变成反复修订,用额外计算换更低延迟
    • 答案在迭代中被修正(60→49→39),可学习何时停止
    • 能编辑某个区域同时保留周围内容,推理预算随任务调整
    • 模型与训练
  777. 23:25
    The Art & Science of Benchmarking Agents — Vincent Chen, Snorkel AI

    Snorkel AI:agent 基准的艺术与科学——专家验证任务、对抗性质控、广泛覆盖和足够余量,300 万美元开放基准资助。

    可以学到 / 用在工作里
    • agent demo 变好不等于部署信心增加
    • 好基准既是量尺也是研究方向:任务难但可回答、可辩护
    • 选择任务分布代表什么,留出有意义的进步空间
    • 评测
  778. 16:30
    SWE-rebench: Lessons from Evaluating Coding Agents — Ibragim Badertdinov, Nebius

    Nebius 的 SWE-rebench:持续用新鲜真实 GitHub 任务评测编码 agent,容器化环境、自动过滤与人工验证,harness 差异和 token 成本。

    可以学到 / 用在工作里
    • 任务 = 描述 + 环境 + 验证器,新鲜的真实 GitHub 任务防污染
    • 正确补丁也可能在坏任务上失败,先广泛收集再用真实尝试过滤
    • agent 保持简单、基础设施做强,控制重试与缓存,防止访问现成答案
    • 评测
  779. 16:58深读
    Beyond Components: Designing Generative UI for MCP Apps — Ruben Casas, Postman

    Postman:超越组件,为 MCP Apps 设计生成式 UI——三个层级:静态组件传参、模型生成 JSON/YAML 的声明式 UI、模型直接生成前端代码。

    可以学到 / 用在工作里
    • 给 agent 输出界面时,优先采用「声明式 UI + 自己的设计系统」,在灵活性与品牌一致性之间取平衡。
    • 运行时生成的前端代码要放进沙箱(如 MCP Apps 的 iframe 边界)。
    • 产品与交互
    • 上下文 / Skills / MCP
  780. 12:49
    BDD, ADR, PRD, WTF: Capturing Decisions for Humans and AI Alike — Michal Cichra, Safe Intelligence

    Safe Intelligence:BDD、ADR、PRD——为人和 AI 记录决策;用 import linter、Git hooks、CI 和端到端测试强制架构边界和设计系统,而不是依赖提示或 agent 记忆。

    可以学到 / 用在工作里
    • 用 ADR 记录架构原因与执行路径,PRD 保持产品目的轻量
    • 让 BDD 行为规格可执行,给 agent 可复用的视觉词汇
    • 用 import linter、Git hooks、CI 强制边界,而不是依赖提示或 agent 记忆
    • 上下文 / Skills / MCP
    • 质量与评审
  781. 16:08
    Benchmarking semantic code retrieval on Claude Code — Kuba Rogut, Turbopuffer

    turbopuffer:在 Claude Code 上评测语义代码检索,对比 grep 探索、分窗读取与加语义搜索的效果。

    可以学到 / 用在工作里
    • 嵌入摊销重复的发现成本,给 Claude Code 加语义检索工具
    • 选择性检索提高精确率,但召回可能漏掉内容
    • 效果取决于任务,以及 agent 是否知道该用哪个检索工具
    • 检索与知识
    • 编码 agent
  782. 19:04
    How Lovable self-improves every hour — Benjamin Verbeek, Lovable

    Lovable 每小时自我改进的两个循环:找出非技术用户卡住的会话并聚类成功解法;让 agent 直接把平台摩擦报到 Slack。

    可以学到 / 用在工作里
    • 找出非技术用户卡住的会话,把成功恢复聚类成可复用指导
    • 上下文要持续证明自己有用
    • 让工作中的 agent 直接到 Slack 抱怨平台摩擦,再评审修复
    • 评测
    • 软件工厂 / 多 agent
  783. 12:39
    What Lies Beneath the API — Benjamin Cowen, Modal

    Modal:成熟的专业 AI 应用会超出通用前沿 API,推理经济或性能受限时值得微调,serverless 训练、沙箱 RL rollout 与自动扩缩推理。

    可以学到 / 用在工作里
    • 产品需要自己的经济性、性能目标和业务逻辑时才考虑微调
    • 区分训练的理由与训练的准备度(数据和评测)
    • 先小规模再扇出实验,RL 需要并行执行环境(沙箱 rollout)
    • 模型与训练
    • 基础设施与算力
  784. 20:40
    Task Fidelity Scaling Laws — Kobie Crawdord, Snorkel

    Snorkel AI:任务保真度的缩放律——规格清晰的难任务才产生有意义的失败;对照实验中低质量任务只提升基座约 1%。

    可以学到 / 用在工作里
    • 难任务只有可解、规格正确、评估可靠才有用
    • 区分能力失败与坏任务,隐藏需求造成人为难度
    • 控制训练资源不变只改任务质量:低质量任务对基座只提升约 1%
    • 模型与训练
    • 评测
  785. 24:29
    What if the network was the sandbox? — Remy Guercio, Tailscale

    Tailscale:如果网络本身就是沙箱?把执行隔离与凭据/访问控制分开,在 WireGuard 上叠加用户、组和工作负载身份,Aperture 身份感知 AI 网关集中管理提供商凭据。

    可以学到 / 用在工作里
    • 容器隔离执行,但 agent 仍持有授权凭据
    • 把授权移到身份感知网络(WireGuard 之上的用户、组、工作负载身份),可在网络层立即切断
    • 提供商凭据集中在网关,agent 只拿占位 key,共享预算与网关钩子
    • 安全与隔离
    • 基础设施与算力
  786. 19:35
    20 days of compute vs 7 hours: rethinking what state-of-the-art means — Bertrand Charpentier, Pruna

    Pruna:图像模型的 SOTA 不能靠单一排行榜判断,不同基准排名差异大,人工检查和 CLIP 分数都有局限,大规模评测的算力和能耗成本高。

    可以学到 / 用在工作里
    • 模型排名换个基准就变,任务和样本要匹配部署场景
    • 理解指标到底测什么,人工检查和 CLIP 分数都有局限
    • 多个模型都可能是 SOTA,评测本身有算力与能耗成本
    • 评测
    • 模型与训练
  787. 33:28
    How to talk to statues — Joe Reeve, ElevenLabs

    ElevenLabs:和雕像对话的应用——拍照识别雕像、研究其背景并生成角色专属声音,语音设计、打断处理与快速原型。

    可以学到 / 用在工作里
    • 拍照识别雕像、研究背景并生成专属声音
    • 博物馆要主导体验内容,屏幕配合语音
    • 让技术成为体验的一部分,创作需要分发原语
    • 多模态与语音
    • 产品与交互
  788. 24:35
    Engineering voice agents: Latency, quality, and scale — Rishabh Bhargava, Together AI

    Together AI:语音 agent 工程——流式 STT、LLM 推理与工具调用、TTS 的编排,转写 P90 约 100ms,更好的轮次检测,模型同机部署减少网络开销。

    可以学到 / 用在工作里
    • 语音 agent 要同时满足理解、正确行动、自然发声和及时响应
    • 流式 STT 用短前瞻窗口,轮次检测决定回合结束
    • LLM 放进响应预算,TTS 首包要快,同机部署减少网络开销
    • 多模态与语音
    • 基础设施与算力
  789. 15:11
    Can LLMs generate Enterprise Quality Code? — Prasenjit Sarkar, Sonar

    Sonar:LLM 能写企业级代码吗?SonarQube 分析 4444 份 Java 作业,对比各模型的代码量与安全问题密度,基准通过率不等于安全可维护。

    可以学到 / 用在工作里
    • 通过测试只是开始:还要衡量安全、维护成本与复杂度
    • 4444 份 Java 作业显示高通过率可能伴随大量缺陷
    • 从多维度读排行榜,把静态分析结果反馈进 agent 开发循环
    • 质量与评审
    • 评测
  790. 13:02
    Spec-Driven Testing for Agents With A Brain the Size of A Planet — Steven Willmott, SafeIntelligence

    Safe Intelligence:为能力很强的 agent 写与实现无关的行为规格,而不只靠评测数据集,覆盖越狱、攻击面和输入变化。

    可以学到 / 用在工作里
    • 更聪明的 agent 不一定更好:先独立于实现定义角色与规则
    • 把周边上下文纳入测试,用规格指导测试
    • 能力描述不是评估边界,换模型时保留测试
    • 评测
    • 安全与隔离
  791. 17:42深读
    How I deleted 95% of my agent skills and got better results — Nick Nisi, WorkOS

    WorkOS 的 Nick Nisi:删掉 95% 的 skills 效果反而更好——让 agent 用代码证明工作而不是靠提示信任;Case harness 用 TypeScript 状态机在实现者、验证者、评审者、收尾者、复盘者之间设关卡,用 SHA-256 校验测试运行防止撒谎。

    可以学到 / 用在工作里
    • 删掉从文档整段复制来的 skill,只保留在真实失败中观察到的「坑点」;并用无 skill 基线验证它确实有帮助。
    • 流程关键步骤用代码(状态机)强制,而不是在提示里请求 agent 遵守。
    • 要求可校验的证据:测试输出哈希、前后对比录屏,防止 agent 声称已测。
    • 上下文 / Skills / MCP
    • Harness 与架构
    • 质量与评审
  792. 10:39
    Why (Senior) Engineers Struggle to Build AI Agents — Philipp Schmid, Google DeepMind

    Philipp Schmid:为什么(资深)工程师难以构建 agent——agent 开发依赖自然语言上下文与语义理解而非确定性状态;把错误当输入、用 trace/专家/LLM 评委评估、设计自描述的工具和 API。

    可以学到 / 用在工作里
    • agent 开发是委托目标而非规定步骤,文本就是状态
    • 让意图在对话中变化,把错误返回给 agent
    • 追踪路线、给结果打分,工具契约携带语义,为可删除而构建
    • Harness 与架构
    • 范式与判断
  793. 10:49
    How We Built Zeta2: Training an Edit Prediction Model in Production — Ben Kunkle, Zed

    Zed 的 Zeta2:在生产中训练编辑预测模型,满足每次按键的延迟要求;师生蒸馏、修复教师输出、Levenshtein 距离评测。

    可以学到 / 用在工作里
    • 每次按键都要预测编辑,延迟极严格
    • 从生产快照生成教学目标,先修复教师的错误预测再蒸馏给学生
    • 用后续代码作为意图证据,评测考虑多个合理的下一次编辑,线上实验验证
    • 模型与训练
    • 编码 agent
  794. 20:12
    Why your agents need decision traces, not just documents — Zach Blumenfeld, Neo4j

    Neo4j:agent 需要决策轨迹而不只是文档——上下文图谱在文档 RAG 之外连接决策轨迹与短期、长期、推理记忆。

    可以学到 / 用在工作里
    • 做决策需要的不只是客户事实,还有先例、政策和结果
    • 上下文图谱连接事实与决策轨迹,按相似决策结构检索
    • 把对话历史变成连接的记忆,表示时间,为现有数据准备 schema
    • 检索与知识
  795. 21:16
    Reachy Mini: the $300 open source robot you can actually hack — Andres Marafioti, Hugging Face

    Hugging Face 的 Reachy Mini:300 美元、可以真正折腾的开源对话机器人,语音是具身 AI 的自然界面,Qwen3-TTS 优化。

    可以学到 / 用在工作里
    • 300 美元开源机器人让更多人能实验
    • 语音已就绪,交互方式仍待发明
    • 机器人、语音管线、推理服务分离,优化 TTS 首个音频包延迟以便对话
    • 机器人
  796. 20:11
    Reverse engineering a Viking VOIP phone protocol with Claude Code — Boris Starkov, Eleven Labs

    ElevenLabs:用 Claude Code 逆向一部只有 Windows XP 配置软件的 Viking VoIP 电话,暴力尝试两字母指令、闭环实验验证,最终接入 Twilio SIP 与 ElevenLabs 语音 agent。

    可以学到 / 用在工作里
    • 让 Claude Code 扫描端口、利用错误响应枚举指令
    • 被接受的设置不等于已保存,要抓取原厂软件流量
    • 推断二进制负载并闭环测试,最后封装成开源 skill
    • 编码 agent
    • 多模态与语音
  797. 20:34
    Most Enterprise Agentic Projects Are Doomed, Here's Why — Jess Grogan-Avignon & Jack Wang, Accenture

    Accenture:多数企业 agent 项目注定失败,因为治理、资金、交付与部署流程仍按人的速度运转;投资工程自动化和 CI/CD,把 AI 项目当投资组合。

    可以学到 / 用在工作里
    • 两周构建、十二个月上线:治理、资金与部署仍按人的速度运转
    • 通过构建发现商业案例,把 AI 项目当投资组合
    • 围绕假设组织交付,按结果逐步增加自主权,投资工程自动化与 CI/CD
    • 团队与组织
  798. 16:38
    Context Graphs for Explainable, Decision-Aware AI Agents — Andreas Kollegger & Zaid Zaim, Neo4j

    Neo4j:上下文图谱让 agent 做出可解释、感知决策的行动,agentic GraphRAG 与 Text2Cypher,以及自主行动的风险框架。

    可以学到 / 用在工作里
    • 上下文图谱给 agent 补充「为什么」
    • 在先例与现行规则之间权衡,先评估风险再优化价值
    • 把提议与授权分开(补货还是留房租),记录决策供未来 agent 参考
    • 检索与知识
  799. 20:43
    How agent o11y differs from traditional o11y — Phil Hetzel, Braintrust

    Braintrust:agent 可观测性与传统可观测性的区别——实时 trace 分析、专用存储与 SQL、Rust Tantivy 搜索、trace 聚类和专家反馈转自动打分。

    可以学到 / 用在工作里
    • 保留延迟与错误等运维指标,但快的回应也可能是错的
    • 大 trace 需要即时检查、专用存储、索引与全文搜索
    • 能识别失败的是领域专家,把专家判断转成自动打分,聚类看用户在用 agent 做什么
    • 评测
    • 基础设施与算力
  800. 17:04
    The AI Skill I Rely On Daily — Priscila Andre de Oliveira, Sentry

    Sentry:我每天依赖的 AI 技能是理解复杂代码而不是生成它;Catch Me Up 仓库理解 skill,先理解 agent 的发现再规划和实现。

    可以学到 / 用在工作里
    • 最依赖的 AI 技能是理解复杂代码,而不是生成
    • 在指挥改动前先恢复上下文,把重复问题做成 Catch Me Up skill
    • 在研究与规划之间插入理解环节,自己拥有心智模型
    • 编码 agent
    • 质量与评审
  801. 16:24
    Why Rust is the Ideal Language for Vibe-Coding — Daniel Szoke, Sentry

    Sentry:Rust 是 vibe coding 的理想语言——编译期拒绝数据竞争等错误,给 agent 确定性的反馈来修复问题,而不是快速产出能跑的 Python/JS。

    可以学到 / 用在工作里
    • 首次能跑的代码是 agent 开发的弱目标
    • Rust 编译器拒绝数据竞争等错误,给 agent 确定性、具体的反馈
    • 测试和评审有局限,增加确定性检查层
    • 编码 agent
    • 质量与评审
  802. 18:33
    The maturity phases of running evals — Phil Hetzel, Braintrust

    Braintrust:运行评测的成熟度阶段——从记录专家判断开始,转成打分函数和 LLM 评委并验证,再从单个输出扩展到完整 agent trace。

    可以学到 / 用在工作里
    • 先写下为什么一个答案好,记录专家判断与理由
    • 把解释转成打分函数和经过验证的 LLM 评委
    • 用生产 trace 指导改进,从单个输出扩展到完整 agent trace,重建 agent 接触的系统
    • 评测
  803. 18:54
    Stop babysitting your agents... — Brandon Waselnuk, Unblocked

    Unblocked:别再保姆式看管 agent——编码 agent 需要动态组装的组织上下文,而不是更多工具连接、静态指令文件或朴素检索。

    可以学到 / 用在工作里
    • agent 通过检查仍可能不懂公司的做法
    • 访问权限不等于理解,从静态文件转向运行时研究
    • 用关系查找和解释证据,在不扩大权限的前提下提供上下文
    • 上下文 / Skills / MCP
  804. 1:45:02
    Run Frontier AI at Home — Alex Cheema, EXO Labs

    EXO Labs 工作坊:在家跑前沿 AI——prefill 与 decode、本地所有权与隐私、Mac 集群、开源 harness、量化取舍与大提示演示。

    可以学到 / 用在工作里
    • 在家跑大模型不只是内存问题:prefill 构建上下文、decode 反复读取
    • 容量、带宽和能耗是不同的限制
    • 内核、缓存、设备放置和通信(RDMA 快 100 倍)决定本地推理是否有用
    • 基础设施与算力
    • 模型与训练
  805. 10:21
    What the Best Agents Share — Mardu Swanepoel, Flinn AI

    最好的 agent 共有的四个设计模式:缩小动作空间的任务模式、可见可干预的执行过程、个性化与记忆、可撤销的动作(Cursor、Cowork、Manus、Harvey 等)。

    可以学到 / 用在工作里
    • 焦点模式缩小动作空间
    • 透明执行让用户能早期干预
    • 个性化加速理解,可撤销动作限制错误成本(Harvey 用 Word 原生修订)
    • 产品与交互
    • Harness 与架构
  806. 20:02
    Agentic Evaluations at Scale, For Everybody — Nicholas Kang & Michael Aaron, Google DeepMind

    Google DeepMind 与 Kaggle:人人可用的规模化 agent 评测——社区基准、零配置的标准化 Agent 考试和 Game Arena 动态排行榜。

    可以学到 / 用在工作里
    • 同一基准可能测量不同的配置,要透明公开设置
    • 领域专家知道需要测什么,社区参与变成可用评测
    • 给 agent 授权前先考试,用游戏对战替代固定天花板(Elo 不饱和)
    • 评测
  807. 18:53
    Does GenAI "belong" to data scientists? — Phil Hetzel, Braintrust

    Braintrust:生成式 AI 不该只属于数据科学家,模型训练已由提供商完成,应用开发转向提示、上下文、评测、可观测性和产品。

    可以学到 / 用在工作里
    • 模型已由提供商训练好,应用开发转向提示、上下文、评测与产品
    • 产品工程、领域判断与评测各补一块差距
    • 数据科学仍在实验设计和统计上有独特价值,连接实现与反馈回路
    • 团队与组织
  808. 16:52
    Bounded Autonomy: Between Free Will and Determinism — Angus J. McLean, Oliver

    OLIVER:有界自主——广告工作流每天为 200+ 品牌生成约 4000 份素材,限制模型上下文、提供精选文档而非任意上网、拥抱创意约束。

    可以学到 / 用在工作里
    • 广告 agent 需要速度,但有用的自主依赖精选上下文
    • 限制证据、排除噪声,提供精选文档而不是任意上网
    • 缩短与真实效果的反馈回路,选择保持工作可理解的表示
    • Harness 与架构
    • 产品与交互
  809. 25:12
    How Google DeepMind Runs Agents at Scale — KP Sawhney & Ian Ballantyne, Google DeepMind

    Google DeepMind 如何规模化运行 agent:Antigravity 多 agent 开发环境、浏览器与 DOM 检查、可审阅的执行轨迹,以及 skills vs MCP vs CLI。

    可以学到 / 用在工作里
    • 给 agent 规格,然后检查发生了什么
    • 规模化从控制需求和配额开始,定位 agent 出错的步骤
    • 专家 skill 需要任务特定的评测,比较 skills、MCP 与 CLI
    • 基础设施与算力
    • 编码 agent
  810. 16:17
    Let's Talk About FOMAT: Fear of Missing Agent Time — Michael Richman, Cmd+Ctrl

    Bitly:「害怕错过 agent 时间」(FOMAT),Cmd+Ctrl 系统远程监控、交互和启动编码 agent 会话(Claude Code、Codex、Gemini、Cursor)。

    可以学到 / 用在工作里
    • agent 离开你也在工作,但只到需要你时为止
    • 把分散的会话集中到一处,手机继续终端对话,远程启动、本地恢复
    • 决定什么值得注意,守护进程汇入共享控制面
    • 编码 agent
    • 产品与交互
  811. 15:13
    Scaling the Next Paradigm of Heterogeneous Intelligence — Adrian Bertagnoli, Callosum

    Callosum:联合优化模型架构、agent 工作流与异构硬件,递归语言模型在 Cerebras 上跑 OOLONG 便宜 7 倍、快 5 倍。

    可以学到 / 用在工作里
    • 工作流不同步骤需要不同能力:匹配模型与硬件
    • 把长上下文当环境(递归语言模型),递归工作在模型与芯片之间路由
    • 异构系统优于同构,成本和延迟显著下降
    • 基础设施与算力
    • Harness 与架构
  812. 18:36
    The Missing Primitive for Agent Swarms — Lou Bichard, Ona

    Ona:agent 群的缺失原语——对比 Stripe Minions、Ramp Inspect 与开发环境平台,仓库内编码的 harness 工程、事件驱动自动化、工作树/容器/VM 隔离。

    可以学到 / 用在工作里
    • 运行更多编码 agent 只是开始,软件工厂还要保存上下文、强制开发步骤、决定何时推进
    • 事件驱动启动 agent 群,把 agent 失败变成仓库反馈
    • 隔离方式(工作树/容器/VM)只是执行基础设施的一部分,K8s 上有资源争用
    • 软件工厂 / 多 agent
    • 基础设施与算力
  813. 23:08
    Introducing WebMCP: Agents in the Browser — RL Nabors

    WebMCP:浏览器作为 agent 的交互画布,对比托管 MCP 工具、交互式 MCP Apps 与 WebMCP 浏览器工具。

    可以学到 / 用在工作里
    • 同一内容可通过托管 MCP 工具、嵌入式阅读器和浏览器动作服务人和 agent
    • 通过 URL 连接而不是本地命令
    • 导航工具不是完整阅读体验,用沙箱界面和 WebMCP 让浏览器 agent 调用
    • 产品与交互
    • 上下文 / Skills / MCP
  814. 1:54:34
    Prompt to Pipeline: Building with Google's Gen Media Stack — Paige & Guillaume, Google DeepMind

    Google DeepMind 生成媒体栈工作坊:提示驱动的应用创建、Genie 互动世界、书到媒体的工作流(角色图、旁白、实时 Lyria 音乐)。

    可以学到 / 用在工作里
    • 用 Gemini 把视频分析成有依据的表格,用验证循环而非单纯边界框
    • 规格驱动构建书架应用,书到媒体管线生成角色图、旁白和 Lyria 音乐
    • 哪些约束能熬过下一代模型,值得提前想
    • 多模态与语音
  815. 18:01
    Fast Models Need Slow Developers — Sarah Chieng, Cerebras

    Cerebras:快模型需要慢开发者——超快编码模型同时放大产能和技术债;大模型规划 + 快模型执行,人要更主动地监督。

    可以学到 / 用在工作里
    • 更快的生成让小改动、频繁验证和实时引导更可行
    • 不要优化无人值守的产出数量,大模型规划、快模型执行
    • 省下的等待时间用于验证,用多样性把人的品味带进来
    • 基础设施与算力
    • 编码 agent
  816. 21:56
    Lobster Trap: OpenClaw in Containers from Local to K8s and Back — Sally Ann O'Malley, Red Hat

    Red Hat:把 OpenClaw agent 装进可在 Podman、K8s 与 OpenShift 间迁移的容器,打包工具、skills、MCP,管理密钥和状态卷。

    可以学到 / 用在工作里
    • 常驻 agent 需要显式访问边界、外部凭据和可恢复状态
    • 配置带进容器,凭据通过 secret 引用分开管理
    • 本地 Podman 开发再迁移到 K8s/OpenShift,共享基线 + 个性化
    • 基础设施与算力
    • Harness 与架构
  817. 19:37
    Gemini Nano on device — Florina Muntenescu & Oli Gaymond, Google DeepMind

    Google:安卓端侧 Gemini Nano(ML Kit GenAI API 与 AICore)与可定制的 LiteRT 模型,内存、电量与兼容性问答。

    可以学到 / 用在工作里
    • 安卓 AI 功能可本地、混合或云端运行
    • AICore 把模型做成系统服务,多应用共享 Nano
    • 电量取决于负载,模型访问不等于文件访问,设备覆盖有限
    • 模型与训练
  818. 18:25
    Your Coding Agent Should Do AI System Engineering — Ben Burtenshaw, Hugging Face

    Hugging Face:编码 agent 应该做 AI 系统工程——写并分发 CUDA kernel、凭一句提示微调模型、协调多 agent 研究实验(Kernels 仓库)。

    可以学到 / 用在工作里
    • 编码 agent 能写有效的 CUDA kernel,但内存带宽通常才是瓶颈
    • 让 kernel 可复用、可分发,先测 kernel 再评估 skill
    • 一句提示微调模型,把实验循环扩展成多 agent 研究团队
    • 模型与训练
    • 编码 agent
  819. 17:03
    Cooking with Agents in VS Code — Liam Hampton, Microsoft

    Microsoft:在 VS Code 里选择三种 agent 执行模式——交互式本地 agent、用 Copilot CLI 与隔离工作树的后台 agent、自主处理文档和仓库改进的云 agent。

    可以学到 / 用在工作里
    • 三种执行模式:交互式本地 agent、后台 agent(CLI + 隔离工作树)、云 agent
    • 执行环境与开发者参与度分开,给前端 agent 设停止点
    • UI 构建时并行补文档和测试,测试与评审检查点留在开发者手里
    • 编码 agent
  820. 19:00
    Scaling Agents on Kubernetes with acpx and ACP — Onur Solmaz, OpenClaw

    OpenClaw 维护者:用 acpx 与 Agent Client Protocol 在 K8s 上规模化 agent,绑定 Discord 频道的并行 Codex 工作流。

    可以学到 / 用在工作里
    • 把聊天频道变成开发工作区,一个客户端接口连接多个 harness(ACP)
    • 坏补丁也是有用反馈,把评审对话变成可执行流程
    • 每个任务在 K8s 上临时创建 agent,共享接待 agent + 独立任务环境
    • Harness 与架构
    • 基础设施与算力
  821. 21:00深读
    From 46% to 90%: Fine-Tuning Tiny LLMs for On-Device Agents — Cormac Brick, Google

    Google 的 Cormac Brick:微调小模型做端侧 agent,从 46% 到 90%——系统内置 Gemini Nano vs 应用内 LiteRT-LM/MediaPipe,隐私、延迟、离线、硬件加速与 Gemma 4。

    可以学到 / 用在工作里
    • 端侧或低成本场景:先列出应用的函数,用强模型生成合成调用数据,微调一个数亿参数的函数调用模型。
    • 即使是小模型也用 skill 目录 + 按需加载,而不是把所有工具一次性给出。
    • 模型与训练
    • 机器人
  822. 24:08
    Skill issue: Lessons from skilling up coding agents to use Langfuse - Marc Klingen, Clickhouse

    Langfuse:用 skills 让编码 agent 可靠地接入 Langfuse——模型知识过时、幻觉 CLI 参数,渐进式文档引用、agent 友好的 API/CLI、文档搜索遥测与评测。

    可以学到 / 用在工作里
    • 模型知识过时会幻觉 CLI 参数,集成 skill 需要指导决策并检索最新文档
    • 用运行时行为揭示缺失的指导,先检查 trace 再做复杂评测
    • 文档要便于导航,记录文档搜索遥测,优化 skill 时保留关键防护
    • 上下文 / Skills / MCP
    • 评测
  823. 16:20
    Any-to-Any: Building Native Multimodal Agents - Patrick Löber, Google DeepMind

    Google DeepMind:构建原生多模态 any-to-any agent,Gemini 读文档图片音视频并调用专门的图像、语音和实时能力(NotebookLM 式应用)。

    可以学到 / 用在工作里
    • 把混合来源放进一次生成请求,模型综合后选择要生成的资产
    • 预算媒体上下文(1 分钟音频约 1920 token)
    • 让模型决定在哪里用信息图、语音或实时对话
    • 多模态与语音
    • Harness 与架构
  824. 18:51
    Don't Build Slop (4 Levels of AI Agent Maturity) - Ara Khan, Cline

    Cline 的 Ara Khan:别造 slop,agent 成熟度四级——框架原型、自定义 agent、看板式工作流、云端部署;更简单的提示与架构,CLI 优先的评测管线。

    可以学到 / 用在工作里
    • 四级成熟度:框架原型、自定义 agent、看板式并行工作流、云端部署
    • 每个新增都可能让 agent 变差,新模型的提示更短(GPT-5.3 提示是 GPT-5 的三分之一)
    • 让其它 agent 构建和测试你的 agent,人的注意力花在架构上
    • Harness 与架构
  825. 20:11
    Personalization in the Era of LLMs - Shivam Verma, Spotify

    Spotify:LLM 时代的个性化——用户表示、曲库嵌入、层级语义内容 token 与开放权重模型,构建可引导的音乐与播客推荐。

    可以学到 / 用在工作里
    • 把收听历史变成用户向量,曲库条目变成层级语义 token
    • 序列与请求一起建模,给语言模型一个曲库词汇表
    • 让听众可以显式引导推荐,多个产品共享基础
    • 模型与训练
    • 产品与交互
  826. 19:09
    What Breaks When You Build AI Under Sovereignty Constraints - Bilge Yücel, deepset GmbH

    deepset:在主权约束下构建 AI 会坏在哪——数据流、模型选择、基础设施与运维都要明确控制,Haystack 的模块化主权 agent 架构。

    可以学到 / 用在工作里
    • 主权是工程问题:控制数据流向、可替换模型、自主运维、能解释 agent 行为
    • 追踪数据超出存储的流向,定位算力
    • 用编排暴露依赖,在 agent 周围加控制,HR/金融等高风险场景需人在回路与可审计版本管理
    • 基础设施与算力
    • 安全与隔离
  827. 1:15:40
    Anthropic Workshop: Build Agents That Run for Hours — Ash Prabaker & Andrew Wilson

    Anthropic 工作坊:构建能连续跑数小时的 agent——检查点、agent 团队、上下文压缩、生成者-评估者工作流、主观质量 rubric、持久产物,以及随模型进步减少脚手架。

    可以学到 / 用在工作里
    • 长时运行需要持久状态、可测试的完成定义和会用软件的评论者
    • 循环要有上下文策略和退出条件,把模糊请求变成可恢复进度
    • 调教独立的严苛评委比让构建者自我批评容易,模型变强后要减少脚手架
    • Harness 与架构
    • 编码 agent
  828. 28:18
    Rewiring the State — Eoin Mulgrew, No. 10 (Downing Street)

    英国唐宁街 10 号数据科学团队:建立 AI 工程研究员与驻场工程能力改善公共服务,AI 分析法规全书,Inspect 框架评测自主 agent。

    可以学到 / 用在工作里
    • 小团队改善公共服务,约束既是技术也是组织的
    • 先看工作流再选部署方式,AI 分析整部法规(省下外包律师费)
    • 挑战交付报告,用 Inspect 评测自主 agent,让工作在体制内扩展
    • 团队与组织
    • 评测
  829. 1:17:14
    Let's go Bananas with GenMedia — Guillaume Vernade, Google DeepMind

    Google DeepMind 生成媒体工作坊:图像模型 API、故事改编对话、合成角色声音与可控音乐生成。

    可以学到 / 用在工作里
    • 换图像模型不该要求换 API
    • 把一本书变成有边界的生成任务,建立提示契约
    • 给角色一致的视觉身份,按模态写提示,参考图控制结果
    • 多模态与语音
  830. 20:26深读
    Harnesses in AI: A Deep Dive — Tejas Kumar, IBM

    IBM 的 Tejas Kumar:harness 深入——harness 是模型之外让它接地的一切;用 GPT-3.5 做「给 HN 第一条点赞」的浏览器 agent,提示不变,加护栏(最大迭代、上下文、验证)让它从撒谎变成可靠。

    可以学到 / 用在工作里
    • 给每个 agent 设最大步数、最大消息数和压缩策略,并把这些干预记录成可观测事件。
    • 不要相信 agent 自报的「完成」:用确定性检查(页面状态、数据库记录、工具历史)验证结果。
    • 认证、支付这类需要密钥的步骤由 harness 程序化执行,模型只看到结果,看不到凭据。
    • Harness 与架构
  831. 18:37
    Why Your AI UX Is Broken (and It's Not the Model's Fault) — Mike Christensen, Ably

    Ably:AI UX 坏掉不是模型的错——连接绑定的 HTTP/SSE 流会断、多标签页看不到、可恢复与取消冲突,改用持久的发布订阅会话。

    可以学到 / 用在工作里
    • 绑定单个 HTTP/SSE 连接的流式回复会断、多标签页看不到
    • 从每个客户端最后的事件恢复,断线不能等同于停止命令
    • 用持久的发布订阅会话解耦客户端与 agent,跨设备访问
    • 产品与交互
    • 基础设施与算力
  832. 17:28
    Fighting AI with AI — Lawrence Jones, Incident

    incident.io:用 AI 对抗 AI——把提示评测当 YAML 单元测试,做 agent 友好的 CLI 管理庞大评测集,把调试界面和提示层级导出成文件系统给 Claude Code。

    可以学到 / 用在工作里
    • 把提示评测写成聚焦的 YAML 单元测试,用 agent 友好的 CLI 管理大型评测集
    • 给提示修复一套可重复流程,在提示层级中定位错误
    • 把调试界面导出成文件给 Claude Code,用子 agent 并行分析回测结果
    • 评测
    • 编码 agent
  833. 17:38
    Connecting the Dots with Context Graphs — Stephen Chin, Neo4j

    Neo4j:上下文图谱把知识图谱、向量检索和持久 agent 记忆结合,医疗例子对比通用 LLM、向量 RAG 与图接地的回答。

    可以学到 / 用在工作里
    • agent 评审工作时缺乏上下文
    • 显式表示关系,检索患者的计划而不只是疾病建议
    • 用相似度进入图、沿连接遍历,加上跨交互与决策的记忆
    • 检索与知识
  834. 24:45
    How to Leverage Domain Expertise — Chris Lovejoy, Notius Labs

    Notius Labs:成功的垂直 AI 靠系统性纳入领域专长而非最先进模型,「神谕-评估者-架构师」框架分配输出质量、度量和自动改进的责任。

    可以学到 / 用在工作里
    • 垂直 AI 的胜负是组织问题:系统性纳入领域专长
    • 神谕(判断质量)、评估者(度量)、架构师(改进系统)三种角色
    • 按瓶颈选择角色,案例对比 Granola、Tandem、Anterior
    • 行业应用
    • 评测
  835. 19:44
    Beyond Code Coverage: Functionality Testing with Playwright MCP — Marlene Mhangami, Microsoft

    Microsoft/GitHub:超越代码覆盖率,用 Playwright MCP 做功能测试,红绿 TDD,不过度依赖单元测试。

    可以学到 / 用在工作里
    • agent 生成更多代码,返工可能吞掉收益
    • 行为测试与实现质量分开,绿色测试套件也可能测错东西
    • 把需求表达为浏览器交互,用 Playwright MCP 写失败测试再实现(红绿 TDD)
    • 质量与评审
  836. 17:49
    Agents Don't Do Standups: Building the Post-Engineer Engineering Org — Mike Spitz, PFF

    PFF CTO:agent 不开站会——三个月案例让 agent 更快而不是让工程师产出最大化:规格 → 轻量设计文档 → 自动生成工单 → PR,用自动协调取代站会和迭代梳理,可组合的 skills。

    可以学到 / 用在工作里
    • 为 agent 优化工作流:规格 → 轻量设计文档 → 自动工单 → PR
    • 用更短的反馈回路取代站会与迭代梳理,让工作事件自动更新状态
    • 从懂系统弱点的人开始,自动化可验证部分,人负责意图与产品质量
    • 团队与组织
    • 软件工厂 / 多 agent
  837. 18:26
    Combine Skills and MCP to Close the Context Gap — Pedro Rodrigues, Supabase

    Supabase:结合 skills 与 MCP 弥补上下文缺口——agent 创建的视图会绕过行级安全,除非设置 security_invoker = true;产品专属 skill 与评测。

    可以学到 / 用在工作里
    • 有工具不等于懂安全规则:agent 创建的视图会绕过行级安全,除非设置 security_invoker
    • 文档保持权威,关键检查不可绕过
    • 通过 agent 行为测试 Markdown skill,从小开始迭代
    • 上下文 / Skills / MCP
    • 安全与隔离
  838. 21:48
    How Building with AI Can Double the Throughput of Your Engineering Team — Brian Scanlan, Intercom

    Intercom:让工程吞吐翻倍——把 AI 采用作为组织期望,按人均代码改动度量,可复用的 agent skills 与 hooks,agent 优先的工程理念。

    可以学到 / 用在工作里
    • 把 AI 采用作为组织责任并设可度量目标(吞吐翻倍)
    • 选定平台并给 agent 做入职,持久知识放进小而可测试的 skill 和 hooks
    • 随之出现评审与基础设施瓶颈,需要继续解决
    • 团队与组织
    • 编码 agent
  839. 2:04:18
    Ship Real Agents: Hands-On Evals for Agentic Applications — Laurie Voss, Arize

    Laurie Voss 两小时工作坊:评估 Claude 金融分析 agent,从追踪与失败分析开始,确定性代码检查、忠实度评测与自定义 LLM 评委 rubric,区分能力测试与回归测试。

    可以学到 / 用在工作里
    • 测试需要发生了什么的证据:先追踪再做失败分析
    • 代码、模型、人各负责不同检查,捕捉级联失败而不规定每一步
    • 让失败分数可操作,校准 LLM 评委,区分能力测试与回归测试
    • 评测
  840. 1:04:26
    Make your own event-sourced agent harness using stream processors — Jonas Templestein, Iterate

    Iterate 工作坊:用流处理器构建事件溯源的 agent harness,可编程事件流与 reducer。

    可以学到 / 用在工作里
    • 仅追加日志 + 同步 reducer + 显式副作用构成可调试的 harness
    • 错误和控制也是事件,先重建状态再执行副作用
    • 从状态派生 LLM 请求,一个持久流派生多个视图,扩展可跑在不同机器上
    • Harness 与架构
  841. 1:20:07
    Mind the Gap (In your Agent Observability) — Amy Boyd & Nitya Narasimhan, Microsoft

    Microsoft Foundry 工作坊:补上 agent 可观测性的缺口——舰队监控、Azure Monitor 追踪、质量与安全、对抗提示评估。

    可以学到 / 用在工作里
    • 评估、监控、优化三件事
    • 评估工作流内部的决策,用 OTel 本地追踪再推送到平台
    • 从失败评测定位到负责的步骤,做对抗测试(PyRIT)与人工引导优化
    • 评测
    • 基础设施与算力
  842. 18:37深读
    CI/CD Is Dead, Agents Need Continuous Compute and Computers — Hugo Santos and Madison Faulkner

    NEA 与 Namespace:CI/CD 已死,agent 需要持续算力和计算机——CI 和 PR 评审为人类速度设计,agent 大量并发改动需要更快的构建测试基础设施和意图驱动的验证循环。

    可以学到 / 用在工作里
    • 量一量你的「agent 改完 → 拿到测试结果」要多久;把它压到分钟级(增量构建、远程缓存、测试选择)往往比换模型更能提升吞吐。
    • 并行 agent 多了以后需要合并队列或类似机制来调和冲突,而不是让人手动处理一堆冲突 PR。
    • 基础设施与算力
    • 软件工厂 / 多 agent
  843. 19:10
    Self-Training Agents: Hermes Agent, HF Traces, Skills, MCP & Finetuning — Merve Noyan, Hugging Face

    Hugging Face 的 Merve Noyan:自我训练的 agent——开源模型生态、Hub 基准发现、推理路由、Hermes Agent 的记忆与消息集成、MCP 与 skills,让 Claude Code 微调视觉语言模型。

    可以学到 / 用在工作里
    • 用基准和提供商选项筛选开源模型,再选服务方式
    • 把 Hub 连到编码 agent,Hermes Agent 的记忆与消息集成
    • 把保存的会话变成可检查的 trace,让 Claude Code 一句话启动视觉语言模型微调
    • 模型与训练
    • 上下文 / Skills / MCP
  844. 18:22
    Building a Chess Coach — Anant Dole and Asbjorn Steinskog, Take Take Take

    Take Take Take 的国际象棋教练:Stockfish 分析 + 落地的棋局信号 + LLM 解释,Claude + Slack 反馈循环修订检测器。

    可以学到 / 用在工作里
    • 下棋强度和解释能力是两回事
    • 给语言模型引擎事实和战术检测器的信号,再生成解释
    • 用户点踩触发 agent 辅助的检测器修订,经评审合并
    • 产品与交互
    • 行业应用
  845. 15:05
    Malleable Evals: Why Are We Evaluating Adaptive Systems with Static Tests? — Vincent Koc, OpenClaw

    OpenClaw 的 Vincent Koc:可塑的评测——固定数据集和离线基准评估不了持续变化的 agent,需要 trace 驱动、常驻的反馈系统。

    可以学到 / 用在工作里
    • agent 在适应,静态测试集跟不上实际用途
    • harness 变了,通过的测试意味着什么也变了
    • 先定义结果,让 trace 重塑测试,加入混沌工程层和运营反馈
    • 评测
  846. 1:08:53
    Give Your Agent a Computer — Nico Albanese, Vercel

    Vercel 工作坊:给 agent 一台计算机——AI SDK v6、AI Gateway、Vercel Sandbox,隔离文件系统和持久工作上下文提升执行到底的能力。

    可以学到 / 用在工作里
    • 把 agent 与 HTTP 端点分开,流式消息分段并显示类型化工具活动
    • 给 agent 持久文件系统(沙箱),长任务先写计划
    • 把存下的记忆和脚本变成可复用能力,注意自动压缩会冲掉初始指令
    • 基础设施与算力
    • Harness 与架构
  847. 18:34
    Lessons from Trillion Token Deployments at Fortune 500s — Alessandro Cappelli, Adaptive ML

    Adaptive ML:万亿 token 级企业部署的经验,RL 通过持续纳入运营反馈弥合演示与生产,小型专用模型降低成本和延迟(AT&T 等)。

    可以学到 / 用在工作里
    • demo 到生产要系统性地把缺陷、业务结果和用户反馈变成更好的行为
    • 专用小模型改变服务经济性
    • 在动作有后果的环境里训练,把人的判断写进奖励,评测、训练、服务一起运营
    • 模型与训练
  848. 20:42
    A Piece of Pi: Embedding The OpenClaw Coding Agent In Your Product — Matthias Luebken, Tavon

    TAVON.ai:把 OpenClaw 使用的极简编码 agent 工具包 pi 嵌入业务产品,CRM 线索筛选与收件箱驱动的销售流程。

    可以学到 / 用在工作里
    • 极简 agent 工具包(核心循环、执行运行时、扩展、会话)可嵌入业务产品
    • 工具执行前控制边界,加 shell 与运行时
    • 把 CRM 做成交互扩展,围绕销售流程暴露业务工具,用户不必看到编码 agent
    • Harness 与架构
    • 产品与交互
  849. 19:29
    Viktor: AI Coworker That Lives in Slack — Fryderyk Wiatrowski

    Viktor:住在 Slack 里的 AI 同事,组织级 agent 的难点在复杂 Slack 交互、共享上下文、频道与私信隔离、集成权限、防止私密信息外泄。

    可以学到 / 用在工作里
    • AI 同事要在团队已工作的地方(Slack)
    • 共享集成带来共享责任,频道与私信要隔离以防私密信息外泄
    • Slack 对话不是单线程,模型选择包括性格,打扰必须有价值
    • 产品与交互
    • 安全与隔离
  850. 23:09
    Why MLX — Prince Canuma, Neywa Labs

    为什么选 MLX:在 Apple 芯片上本地运行 agent 与多模态模型,MLX-VLM 视觉理解与 MLX-Audio 低延迟语音。

    可以学到 / 用在工作里
    • agent 不能依赖网络时,本地推理让无障碍、语音控制与视觉感知可用
    • MLX 支持在 Mac/iPhone 上跑最新开源模型
    • 按现有硬件组装语音 agent,MLX-VLM 做视觉、MLX-Audio 做低延迟语音
    • 模型与训练
    • 基础设施与算力
  851. 16:16
    How we solved Context Management in Agents — Sally-Ann Delucia

    Arize:如何解决 agent 的上下文管理——Alyx 处理 trace 时遇到上下文窗口与长会话问题,无约束的 LLM 摘要不可靠,上下文管理既是工程也是产品设计问题。

    可以学到 / 用在工作里
    • 截断与摘要丢失的东西不同,无约束的 LLM 摘要不可靠
    • 把信息移出视野但不销毁,可再检索
    • 测试遗忘出现的那一轮,搜索的工作数据放在独立子 agent 里
    • 上下文 / Skills / MCP
    • Harness 与架构
  852. 16:36
    Two Roads to Durable Agents: Replay vs. Snapshot — Eric Allam, CEO, Trigger.dev

    Trigger.dev:持久 agent 的两条路——基于回放的持久执行 vs 基于快照的基础设施,agent 需要分别保存对话上下文和有状态执行环境。

    可以学到 / 用在工作里
    • agent 既要保存对话,也要保存工作环境
    • 回放式持久执行适合工作流(重试收据不重复扣款)
    • 对话状态与机器状态分开,用快照恢复(压缩到约 14MB)暂停机器
    • 基础设施与算力
    • Harness 与架构
  853. 10:11
    Feedback Loops are All You Need — Mehedi Hassan, Granola

    Granola:反馈循环就是一切,会议聊天功能要持续迭代,内部追踪暴露工具调用、推理、搜索路径和成本。

    可以学到 / 用在工作里
    • 追踪工具让 agent 决策从头到尾可见(工具调用、推理、搜索路径、成本)
    • 一行网页搜索也有运营成本
    • 把桌面应用的渲染层与环境分开,实验变成可分享的网页预览
    • 评测
    • 产品与交互
  854. 22:26
    Why TTS Models Now Look Like LLMs — Samuel Humeau, Mistral

    Mistral:为什么 TTS 模型现在像 LLM(Voxtral TTS),声音克隆、多语言合成与流式语音生成。

    可以学到 / 用在工作里
    • 语音 agent 需要在整段波形就绪前开始说话
    • 用音频编解码器建模音频块而非单个样本,大模型每帧计算一次
    • 条件输入决定音色与风格,文本流式进语音仍是独立的架构问题
    • 多模态与语音
    • 模型与训练
  855. 8:11
    Give Your Chat Agent a Voice — Luke Harries, Head of Growth, ElevenLabs

    ElevenLabs Voice Engine:给已有聊天 agent 加语音而不替换其编排、检索和工具,情绪感知的轮次与语义 VAD。

    可以学到 / 用在工作里
    • 给已有聊天 agent 加语音,不必替换其编排、检索和工具
    • 把语音层与 agent 编排分开,会话封装负责轮次与语义 VAD
    • 自己选择要拥有的边界,工具调用仍留在原 agent
    • 多模态与语音
    • 产品与交互
  856. 19:26
    Voice AI: when is the "Her" moment? — Neil Zeghidour, CEO, Gradium AI

    Gradium AI:语音 AI 何时迎来《Her》时刻?对比级联系统与语音到语音对话,半双工的局限与 Moshi 全双工架构。

    可以学到 / 用在工作里
    • 克隆的声音逼真,对话仍可能失败
    • 延迟预算远超语音合成本身
    • 语音到语音不等于同时对话,全双工(Moshi)边说边听,保留语音线索不等于会用它
    • 多模态与语音
  857. 1:03:12
    Agentic Search for Context Engineering — Leonie Monigatti, Elastic

    Elastic 工作坊:用于上下文工程的 agentic 搜索——固定检索管线和窄语义工具为何失败,对比数据库、本地文件、skills、记忆和网页检索。

    可以学到 / 用在工作里
    • 决定什么进入上下文窗口不只靠向量检索:从固定检索步骤变成工具选择
    • 需要精确查找、查询生成、聚合和文件检索等不同工具
    • 加载查询知识后让数据库计算,用 GEPA 暴露两类不同的检索失败
    • 检索与知识
    • 上下文 / Skills / MCP
  858. 22:31
    FLUX, Open Research, and the Future of Visual AI — Stephen Batifol, Black Forest Labs

    Black Forest Labs:从 FLUX.1 到 FLUX.2 [klein],上下文图像编辑、多参考生成、亚秒级交互,迈向包括机器人在内的视觉智能。

    可以学到 / 用在工作里
    • 改场景同时保持角色一致,多参考图组合生成
    • 去噪需要有用的表征,让生成器自己学表征目标而不依赖冻结编码器
    • 更好的训练带来清晰文字与连贯动作,迈向带语音的视频与机器人视觉
    • 模型与训练
    • 多模态与语音
  859. 17:05
    How Transformers Finally Ate Vision – Isaac Robinson, Roboflow

    Roboflow:Transformer 如何最终吃掉视觉——可扩展预训练、学到的归纳偏置与从 LLM 继承的基础设施。

    可以学到 / 用在工作里
    • 视觉 Transformer 用学到的表征替代内置空间结构
    • Swin 局部注意力与移位窗口、ConvNeXt 换混合器、Hiera 学习原本由架构提供的结构
    • 预训练产出可用特征(DINOv3),借用 LLM 的优化注意力基础设施
    • 模型与训练
    • 多模态与语音
  860. 1:20:40
    Agent Optimization with Pydantic AI: GEPA, Evals, Feedback Loops — Samuel Colvin, Pydantic

    Pydantic 工作坊:用 Pydantic AI、Logfire、评测集、GEPA 提示优化和托管变量改进已部署的 agent。

    可以学到 / 用在工作里
    • 先定义清楚问题(哪些亲属关系才算),变成结构化抽取
    • 评测要能解释分数,通过失败案例比较提示
    • GEPA 优化提示,通过类型化的托管变量改变运行中的 agent
    • 评测
    • 上下文 / Skills / MCP
  861. 1:43:04
    Vibe Engineering Effect Apps — Michael Arnaldi, Effectful

    Effect 作者工作坊:用编码 agent 构建可靠的 Effect 应用,agent 直接查看库的上游仓库效果最好。

    可以学到 / 用在工作里
    • 让 agent 直接读依赖的上游源码(.repos/effect)提炼最佳实践
    • 在 AGENTS.md 列出可用命令,编译器诊断设为阻断
    • 给新会话持久的起点,先研究一次再按规格实现,构建前先测运行时
    • 编码 agent
  862. 50:25
    Everything You Need To Know About Agent Observability — Danny Gollapalli & Zubin Koticha, Raindrop

    Raindrop:agent 可观测性全指南——显式遥测与隐式信号(拒答、任务失败、用户沮丧),发布实验与统计显著性。

    可以学到 / 用在工作里
    • 金标数据集之外的问题要看真实轨迹
    • 用隐式信号(拒答、任务失败、用户沮丧)做发布反馈,信号不总统计显著但能指引调查
    • 直接问 agent 发生了什么,失败的写入可能变成看似成功的绕行
    • 评测
  863. 18:30深读
    The Multi-Agent Architecture That Actually Ships — Luke Alvoeiro, Factory

    Factory 的 Missions:编排者、worker、验证者三角色,开工前写验证契约,结构化交接,写代码串行、只读研究并行。

    可以学到 / 用在工作里
    • 长任务用「编排者 / worker / 验证者」三角色,并在开工前写好验证契约(断言清单),作为验收的唯一标准。
    • 多个 agent 改同一代码库时默认串行写、并行读;需要并行写时用独立工作树和明确的模块边界。
    • 除了测试/lint,增加「真的打开应用点一遍」的用户流验证,并在每个里程碑执行。
    • 软件工厂 / 多 agent
    • Harness 与架构
  864. 22:20
    MCP UI: Extending the frontier — Liad Yosef and Ido Salomon, MCP Apps

    MCP Apps 联合作者:MCP-UI 成为第一个官方 MCP 扩展,在 AI 助手里嵌入带品牌的交互界面,应用、宿主与后端双向通信。

    可以学到 / 用在工作里
    • 工具只返回文本会丢掉界面与交互
    • MCP Apps 在助手中嵌入带品牌的界面,交互经宿主路由
    • 组合多个服务完成目标(周年纪念),而不是逐个打开网站
    • 产品与交互
    • 上下文 / Skills / MCP
  865. 1:21:02
    Full Walkthrough: Writing & Using Skills — Nick Nisi and Zack Proser

    WorkOS 工作坊:编写和使用 skills 全流程——可移植、可组合的 skill,选择性加载上下文、可复用脚本、Claude 到 Codex 的交叉评审。

    可以学到 / 用在工作里
    • skill 是带路由描述的包,选择性加载参考资料
    • 用脚本提供确定性输入(如注入 Git 输出),而不是让 agent 自己去取
    • 区分永久偏好与共享流程,测试 skill 的选择与任务完成,Claude 写、Codex 交叉评审
    • 上下文 / Skills / MCP
  866. 18:29
    The Small Model Infrastructure Nobody Built (So We Did) — Filip Makraduli, Superlinked

    Superlinked Inference Engine:专为小模型打造的基础设施,在共享 GPU 上加载和热切换多个模型,路由、自动扩缩与排队。

    可以学到 / 用在工作里
    • 小模型能让 agent 上下文更有用,但服务需要感知架构的执行
    • 更多 GPU 解决不了闲置容量,在共享 GPU 上加载与热切换多个模型
    • 别把注意力计算浪费在 padding 上,集群负责路由、扩缩与排队
    • 基础设施与算力
    • 模型与训练
  867. 1:08:15
    Demand-Driven Context: A Methodology for Coherent Knowledge Bases Through Agent Failure

    IKEA 的需求驱动上下文:从真实任务出发、观察 agent 失败,只补充缺失的领域知识来构建企业 agent 知识库(工作坊)。

    可以学到 / 用在工作里
    • 能力强的 agent 仍需要组织的「笔记本」,检索修不好源头
    • 让任务拉动缺失知识:从失败的事故调查找出从未写下的东西
    • 把历史事故变成文档待办,给共享知识评审流程和地图
    • 检索与知识
    • 上下文 / Skills / MCP
  868. 23:57
    Accelerating AI on Edge — Chintan Parikh and Weiyi Wang, Google DeepMind

    Google AI Edge:Gemma 4 边缘模型与会推理的端侧 agent,LiteRT 跨平台部署与 AI Edge Portal 基准。

    可以学到 / 用在工作里
    • 先让模型装进设备再连接工具
    • 私人日记、图片配乐、树莓派机器人等端侧 agent
    • 共享运行时与模型格式(LiteRT),在目标设备上转换、检查和测试
    • 模型与训练
    • 机器人
  869. 1:21:26
    Training an LLM from Scratch, Locally — Angelos Perivolaropoulos, ElevenLabs

    ElevenLabs 工作坊:在本地从零训练一个小型 GPT-2 风格模型——分词器设计、Transformer 架构、nanoGPT 式实现、优化调度、验证与过拟合。

    可以学到 / 用在工作里
    • 从零训练字符级莎士比亚模型:词表、因果注意力、训练、采样
    • 小词表意味着更长序列
    • 理解每个 Transformer 组件的贡献,以及小模型的局限
    • 模型与训练
  870. 1:48:25
    Ralph Loops: Build Dumb AI Loops That Ship — Chris Parsons, Cherrypick

    Cherrypick 工作坊:构建「笨」但能交付的 Ralph 循环——工单驱动实现、反复调用 Claude、每次新会话上下文、agent skills、原子提交,以及何时不需要更多协调。

    可以学到 / 用在工作里
    • 自动化比工作本身还贵时就别做
    • Ralph 循环:让循环自己挑下一个工单,每次新会话、原子提交
    • 让无人值守的工作可观测,给循环识别好结果的方法,分开自主权与权限,知道何时停
    • 软件工厂 / 多 agent
    • 编码 agent
  871. 1:18:41
    Skill Issue: How We Used AI to Make Agents Actually Good at Supabase — Pedro Rodrigues, Supabase

    Supabase 工作坊:用 AI 让 agent 真正会用 Supabase——构建和打磨 Agent Skills(SKILL.md + 脚本),设计评测场景并检查 agent 行为。

    可以学到 / 用在工作里
    • 报告数字正确也可能暴露了不该暴露的数据
    • 指令在相关时才加载,skills 与 MCP 一起用
    • 写 skill 前先定义成功,没有 skill 时跑一遍,检查是否越过授权边界
    • 上下文 / Skills / MCP
    • 评测
  872. 27:13深读
    Context Is the New Code — Patrick Debois, Tessl

    Tessl 的 Patrick Debois:上下文就是新的代码——指令、skills、文档和组织知识需要和源码一样的工程纪律;上下文开发生命周期:生成、评测、分发、观测。

    可以学到 / 用在工作里
    • 把 AGENTS.md/CLAUDE.md/skills 纳入代码评审和 CI:结构校验 + 行为评测(规则 → 任务 → 可观察期望),每个用例跑多次。
    • 跨团队共享的规范打包成带版本的上下文包,并标注适用的库版本,避免冲突。
    • 安装第三方 skills/上下文包前审查来源与内容,把它当作软件供应链的一部分。
    • 上下文 / Skills / MCP
    • 质量与评审
  873. 1:20:57
    TLMs: Tiny LLMs and Agents on Edge Devices with LiteRT-LM — Cormac Brick, Google

    Google 工作坊:用 LiteRT-LM 在手机和受限设备上运行小模型与 agent,Android/iOS 部署、跨芯片加速、小模型护栏、FastVLM 与小模型微调。

    可以学到 / 用在工作里
    • 共享的系统模型与专门的应用模型
    • 有效尺寸关乎常驻内存,打包一次、在目标设备上测量
    • 小模型 85%–90% 可靠性即可广泛部署,指令按需加载,离线听写与实时翻译
    • 模型与训练
    • 机器人
  874. 1:41:24
    Mergeable by default: Building the context engine to save time and tokens — Peter Werry, Unblocked

    Unblocked 工作坊:「默认可合并」——上下文引擎让编码 agent 融入组织知识、团队约定和历史决策,避免朴素检索和「搜到即止」的失败。

    可以学到 / 用在工作里
    • agent 和新员工一样从零开始,自主越多上下文管理越难
    • 案例:一次迁移删掉了必要的依赖
    • 更多搜索和上下文不够,要把连接的证据变成可用上下文,放进规划、评审和支持
    • 上下文 / Skills / MCP
    • 编码 agent
  875. 20:23
    Software Engineering Is Becoming Plan and Review — Louis Knight-Webb, Vibe Kanban

    Vibe Kanban:软件工程正在变成「计划与评审」,对比重计划与重评审的流程,前端功能难以规格化,用 Playwright MCP 做浏览器 QA。

    可以学到 / 用在工作里
    • AI 写代码后,工程变成计划与评审:五分钟计划省三十分钟评审
    • 任务决定能规格化多少,前端功能难规格化
    • 更长的运行可能意味着更少的人工,并行 agent 但不让人碎片化
    • 范式与判断
    • 编码 agent
  876. 19:33
    I Gave an AI Agent the Keys to My Life (Here's What Happened) — Radek Sienkiewicz (@velvetshark-com)

    OpenClaw 维护者:把生活的钥匙交给 AI agent——WhatsApp/Telegram/Discord 入口、约 3000 条笔记的 Obsidian 知识库、QMD 搜索、夜间索引维护与自动恢复。

    可以学到 / 用在工作里
    • 访问权限一次一个工作流地增长
    • 知识库让访问有用(约 3000 条笔记 + QMD 搜索)
    • 夜间维护索引并守护更新,准备好回复,出错就退一步修好再前进
    • 产品与交互
    • Harness 与架构
  877. 1:19:21
    Human-in-the-Loop Automation with n8n — Liam McGarrigle

    n8n 工作坊:可视化搭建管理 Gmail 与日历的 agent,条件集成、对话记忆上限、执行日志与人工审批。

    可以学到 / 用在工作里
    • 从聊天驱动的 Gmail 与日历助手开始
    • 精确选择模型控制哪些参数,在适用的层级写指令
    • 检查执行日志,加入人工审批在敏感动作执行前拦截
    • Harness 与架构
    • 产品与交互
  878. 19:53
    Agents on the Canvas in tldraw — Steve Ruiz, tldraw

    tldraw:画布上的 agent——从把草图变成可用界面的 Make Real,到嵌在画布里、多个并行工作的可见 AI 协作者。

    可以学到 / 用在工作里
    • 草图变成可用原型(Make Real),结果成为下一个提示的一部分
    • 生成可编辑形状,解决空间歧义
    • 把多个 agent 带到共享画布上协作,而不是交出控制权
    • 产品与交互
    • Harness 与架构
  879. 14:10
    Agents for Everything Else — swyx

    swyx:其余一切的 agent——小型大会团队用 Devin 和 Claude Cowork 做编码以外的事(Figma 转代码、内容即代码、数据同步、采购调研),agent 可访问的 API/CLI/MCP 比面向人的界面更重要。

    可以学到 / 用在工作里
    • 小团队用 agent 做编码以外的事:Figma 转代码、数据同步、采购调研
    • 更短的反馈回路改变人们愿意尝试的事
    • 让大会数据成为 agent 可维护的代码,agent 可访问的 API/CLI/MCP 比人用的界面更重要
    • 团队与组织
    • 产品与交互
  880. 24:18
    Mastering AI Pricing — Mayank Pant, Stripe

    Stripe:精通 AI 定价——可变算力成本冲击传统 SaaS 定价,订阅 + 用量的混合定价,计费单位应反映客户感知的价值(Gamma、Intercom)。

    可以学到 / 用在工作里
    • AI 定价要连接客户感知的价值与推理成本
    • 首个价格是假设:定义价值、选计费单位、基础费 + 用量费
    • 防止账单惊吓(支出控制),高增长公司两年内改价三次以上
    • 创业
    • 产品与交互
  881. 1:38:34
    Shipping complex AI applications — Braintrust & Trainline

    Braintrust 与 Trainline 工作坊:交付复杂 AI 应用——把 LLM 流程拆成带工具的专门阶段、用 SDK 埋点追踪、在线自动打分生产日志。

    可以学到 / 用在工作里
    • 从一次模型调用开始,加入事实,再拆成专门阶段
    • 用 SDK 埋点追踪完整流程
    • 回归测试、托管提示与生产在线打分,用证据做改动
    • 评测
    • Harness 与架构
  882. 19:22
    Replacing 12K LoC with a 200 LoC Skill — David Gomes, Cursor

    Cursor:用 200 行的 skill 取代 1.2 万行代码——用 Markdown skill、斜杠命令和子 agent 替代重量级 Git worktree 实现,支持并行编码、Best-of-N 和多仓库,代价是隔离更弱、行为不一致。

    可以学到 / 用在工作里
    • 用 200 行 Markdown skill + 斜杠命令 + 子 agent 取代 1.2 万行 worktree 实现
    • 父 agent 成为协调者,维护更少、工作流更灵活
    • 代价是指令取代了强制边界,要同时评测预期工作与禁止的工作
    • 上下文 / Skills / MCP
    • 编码 agent
  883. 1:47:33
    Building Conversational Agents — Thor Schaeff and Philipp Schmid, Google DeepMind

    Google DeepMind 工作坊:用 Gemini 构建对话 agent,generateContent vs Interactions API、持久对话状态、Live API 实时语音。

    可以学到 / 用在工作里
    • 统一的交互接口连接模型与 agent,服务器保存历史但不交出上下文控制
    • 循环把推理连到动作,给编码 agent 可用的文档(gemini-skills)
    • 从最小有状态 agent 开始,加文件工具,Live API 做实时语音
    • 多模态与语音
    • Harness 与架构
  884. 19:18
    LLM codegen fails and how to stop 'em — Danilo Campos, PostHog

    PostHog Wizard:阻止 LLM 生成代码出错——提供最新文档对抗过时知识、维护轻量代表性项目「模型飞机」、按步骤引导 agent 减少幻觉 API。

    可以学到 / 用在工作里
    • 给 agent 比训练数据更新的知识(最新文档)
    • 维护轻量代表性示例项目展示好的集成形态
    • 发现、规划、实现分步骤,问 agent 什么让运行困难,工具编辑密钥但不暴露
    • 上下文 / Skills / MCP
    • 编码 agent
  885. 20:13深读
    Everything I Learned Training Frontier Small Models — Maxime Labonne, Liquid AI

    Liquid AI 的 Maxime Labonne:训练前沿小模型的全部经验——对比 Gemma/Qwen 的嵌入开销与 LFM2 的门控短卷积 + GQA 架构,CPU/手机/GPU 推理,LFM2.5 的 28 万亿 token 预训练、SFT、偏好对齐与 RL。

    可以学到 / 用在工作里
    • 垂直、窄任务(单一函数调用、抽取、分类)优先考虑微调小模型,部署在端侧或便宜的 GPU 上。
    • 评估小模型时专门测「重复/死循环」率,尤其是开启推理模式时。
    • 模型与训练
  886. 1:01:58
    OpenAI Codex Masterclass — Vaibhav Srivastav & Katia Gil Guzman

    OpenAI Codex 大师课:GPT 模型选项、定期自动化、Slack 集成、插件(skills + 应用 + MCP)、专门的评审子 agent 与 GitHub 事件钩子。

    可以学到 / 用在工作里
    • Codex app 组织并发工作,插件打包 skills、应用与 MCP
    • 连接仓库数据并定期分诊(自动化)
    • 检查目的地而不只是完成消息,专门的评审子 agent 与 GitHub 事件钩子
    • 编码 agent
  887. 1:03:20
    Build & deploy AI-powered apps — Paige Bailey, Google DeepMind

    Google DeepMind 的 Paige Bailey 工作坊:用 AI Studio、Gemini 与 Gemma 快速做 AI 应用原型,搜索与地图接地、多模态嵌入、Genie、开源机器人与 OpenClaw 集成。

    可以学到 / 用在工作里
    • 选择合适的模型档位,用搜索与地图接地
    • 把恐龙视频变成带引用的表格,给小模型可执行的视觉工具
    • 屏幕、语音、摄像头放在一个对话中,生成带认证与存储的应用
    • 产品与交互
    • 模型与训练
  888. 1:23:36
    Building your own software factory — Eric Zakariasson, Cursor

    Cursor 工作坊:构建你自己的软件工厂——按 Dan Shapiro 的自主等级框架,从结对编程走向 agent 优先流程、定时 MCP 自动化、嵌套 agent,用可观测性、规格、规则与架构护栏保持人的监督。

    可以学到 / 用在工作里
    • 让仓库可发现、有边界、可运行,agent 才能被委托
    • 返回人能评审的证据,在增加 agent 数量前先界定范围
    • 独立检出不等于独立系统,把重复交接变成自动化(Bugbot 按规则评审)
    • 软件工厂 / 多 agent
    • 编码 agent
  889. 25:39
    Why building eval platforms is hard — Phil Hetzel, Braintrust

    Braintrust:评测平台为什么难做——LLM 波动、跨职能实验、提示配置对比、生产可观测与离线评测反馈,本质是数据与系统工程问题。

    可以学到 / 用在工作里
    • 循环加表格能起步,但不可持续
    • 好看的 UI 不等于实验,用生产失败选择下一个实验
    • trace 查看器背后是高要求的数据层,通过网关自动追踪,下一个用户可能是编码 agent
    • 评测
  890. 23:24
    One Login to Rule Them All: Cross-App Access for MCP — Garrett Galow, WorkOS

    WorkOS:MCP 的跨应用访问——逐服务器 OAuth 同意破坏企业 SSO,用身份提供商治理的身份断言和限定范围的令牌交换(Claude Code 通过 Okta 认证)。

    可以学到 / 用在工作里
    • 逐个 MCP 服务器 OAuth 同意破坏企业 SSO,IT 看不到凭据
    • 利用应用之间已有的信任:身份提供商治理的身份断言 + 令牌交换
    • 一次 Okta 登录即连上 Figma,静默续期形成撤销边界
    • 安全与隔离
    • 上下文 / Skills / MCP
  891. 19:02
    Gemma 4 Deep Dive — Cassidy Hardin, Researcher, Google DeepMind

    Google DeepMind:Gemma 4 深入——E2B/E4B 端侧、26B MoE、31B 稠密,Apache 2.0;局部-全局交错注意力、驻留闪存的逐层嵌入、可变分辨率视觉与 conformer 音频编码。

    可以学到 / 用在工作里
    • 局部与全局注意力 5:1 交错,全局层 KV 头更长
    • 一个共享专家 + 八个路由专家的 MoE
    • 逐层嵌入驻留闪存降低有效尺寸,可变分辨率视觉,9 个 patch 合成一个软 token
    • 模型与训练
  892. 17:48
    Gateways are All You Need — Karan Sampath, Anthropic

    Anthropic:网关就是一切——企业采用 MCP 受限于可观测性、访问控制碎片化与安全;共享 MCP 网关集中认证、角色权限与组织可见性,建立信任根。

    可以学到 / 用在工作里
    • 找到 MCP 服务器不够,服务器创建速度超过部署能力
    • 批准平台、分散工具开发:共享网关集中身份、策略与工具反馈
    • 添加客户端无需重建集成,让 agent 部署与企业数据独立
    • 上下文 / Skills / MCP
    • 安全与隔离
    • 基础设施与算力
  893. 20:34
    Scaling GitHub for your Agents — Sam Morrow, GitHub

    GitHub MCP Server:扩展远程 MCP 的挑战——工具过多、上下文消耗、默认配置、语义工具发现、分组 CRUD 工具、OAuth 2.1/PKCE、注入与私密数据外泄风险。

    可以学到 / 用在工作里
    • 工具越多 agent 表现越差,配置敌不过默认值
    • 减少加载与返回内容(初始负载降 49%),让工具表达意图并测试工具间竞争
    • 让安全认证成为最简单路径(OAuth 2.1 + PKCE),但安全凭据解决不了提示注入
    • 上下文 / Skills / MCP
    • 安全与隔离
  894. 17:42深读
    Collaborative AI Engineering: One Dev, Two Dozen Agents, Zero Alignment — Maggie Appleton, GitHub

    GitHub Next 的 Maggie Appleton:一个开发者、二十多个 agent、零对齐——产出增加却没解决团队对齐、共享上下文、重复工作和评审过载;实验性多人工作区 Ace。

    可以学到 / 用在工作里
    • agent 多了以后,把「对齐」显式化:重要改动先写计划并让相关人共同评审,再交给 agent。
    • 让讨论附着在同一个可运行的环境/预览上,而不是各自本地复现。
    • 把省下来的实现时间有意识地投入用户研究和设计打磨。
    • 软件工厂 / 多 agent
    • 团队与组织
  895. 11:18
    AgentCraft: Putting the Orc in Orchestration — Ido Salomon

    AgentCraft:用 RTS 式界面减少编排大量编码 agent 时人的瓶颈,可视化文件系统和 agent 活动、快速审批、打包审阅改动。

    可以学到 / 用在工作里
    • 启动 agent 容易,管理它们才难:RTS 式界面把会话变成单位
    • 看到工作发生在哪里,更快的反应仍消耗注意力
    • 委托任务发现与监督,从提供想法转向评审实现,共享工作区
    • 产品与交互
    • 编码 agent
  896. 22:41
    MCP = Mega Context Problem - Matt Carey

    Cloudflare 的 Matt Carey:MCP = 超大上下文问题——把约 2600 个端点(OpenAPI 约 230 万 token)都暴露为工具会撑爆上下文,改用可自发现的 CLI、渐进式工具发现与执行生成的代码。

    可以学到 / 用在工作里
    • 约 2600 个端点(OpenAPI 约 230 万 token)全暴露为工具会撑爆上下文
    • 需要时再发现能力,让模型按类型写代码
    • 生成的代码带来执行问题,编程化执行边界,API 覆盖与权限是两回事
    • 上下文 / Skills / MCP
  897. 1:36:30深读
    Full Walkthrough: Workflow for AI Coding — Matt Pocock

    Matt Pocock 工作坊「AI 编码完整工作流」(2026 年最受欢迎的 AIE 视频):LLM 的「聪明区/笨区」(约 10 万 token 后变差)与「失忆问题」,从 Grill Me skill 反复追问达成共识开始,到 PRD、拆 issue、TDD 和 AFK 的 Ralph 循环。

    可以学到 / 用在工作里
    • 监控每个会话的 token 用量,超过约 10 万就拆任务或干净重开;探索类工作交给子 agent。
    • 动手前用「追问我」式的 skill 把需求里没定的决定逐一问清,再写 PRD。
    • 把 PRD 拆成带依赖关系的垂直切片 issue,并标出哪些可以 AFK 交给夜间循环。
    • 编码 agent
    • 上下文 / Skills / MCP
    • 质量与评审
  898. 20:24
    What Do Models Still Suck At? - Peter Gostev, Arena.ai, BullshitBench

    Arena.ai:模型还有哪些地方很烂?BullshitBench 用荒谬提示测模型能否挑战无效前提,对比各家模型与 Arena 的不满意数据。

    可以学到 / 用在工作里
    • 基准分数上升仍有缺口:流畅的回答可能接受荒谬前提(BullshitBench)
    • 前提拒绝能力不均匀提升,更多推理可能强化错误任务
    • 不同任务进步速度不同,软件质量难以规格化
    • 评测
    • 模型与训练
  899. 18:26深读
    "Software Fundamentals Matter More Than Ever" — Matt Pocock

    Matt Pocock「软件基本功比以往更重要」:反对把代码当廉价品的「规格到代码」,用 Grill Me 达成共享设计概念、领域驱动的通用语言、TDD 小步快跑、深模块与人对接口的所有权。

    可以学到 / 用在工作里
    • 把「AI 没做对」先当需求问题处理:开工前让 agent 追问直到共识,而不是事后改提示。
    • 为项目维护一份通用语言(术语表),在提示、PRD、代码命名中保持一致。
    • 要求 agent 走 TDD:先失败测试、再实现、再重构,每步跑类型和测试。
    • 质量与评审
    • 编码 agent
    • 上下文 / Skills / MCP
  900. 20:18
    The End of Apps — Kitze, Sizzy.co

    Kitze:应用的终结——从文本任务管理到个人生活操作系统 Benji,结构化输出、语音触发 API 和 OpenClaw 让 agent 中介的交互取代传统应用。

    可以学到 / 用在工作里
    • 从文本提醒到个人生活 OS:问题在输入而不是功能
    • 语音变成 API 调用,能力早已具备、只是外壳不对
    • 拥有助手改变技术栈,承诺不等于完成的动作
    • 产品与交互
    • 范式与判断
  901. 14:21
    Agents need more than a chat - Jacob Lauritzen, CTO Legora

    Legora CTO:agent 需要的不只是聊天——法律类复杂 agent 需要比线性聊天更丰富的协作界面,自动化上限取决于任务可验证性,DAG 式任务分解、可复用 skills。

    可以学到 / 用在工作里
    • 执行变便宜后,瓶颈移到引导与评审
    • 控制程度决定引导方式,信任决定评审深度
    • 给 agent 可检查的东西或限制范围来建立信任,持久文档与表格把人的判断放在工作发生处
    • 产品与交互
    • 行业应用
  902. 26:42
    How AI is changing Software Engineering: A Conversation with Gergely Orosz, @pragmaticengineer

    Pragmatic Engineer 的 Gergely Orosz:AI 如何改变软件工程——token 排行榜与花费激励、绩效评估、不可靠的生产力指标、大公司里的领导压力。

    可以学到 / 用在工作里
    • token 排行榜会奖励无意义的忙碌,AI 使用量不是好的绩效代理
    • 选对生产力单位,让非程序员协作者也能写代码反而更高效
    • 职责更宽、团队更小,编排 agent 不等于管理人
    • 团队与组织
    • 范式与判断
  903. 29:17
    Taste & Craft: A Conversation with Tuomas Artman, CTO Linear & Gergely Orosz, @pragmaticengineer

    Linear CTO Tuomas Artman 对谈 Gergely Orosz:AI 让产品判断、克制和工匠精神更重要,Linear 约 10% 的 bug 修复已自动化,每周自主发现问题的质量习惯。

    可以学到 / 用在工作里
    • 每个需求都能变成功能时,更要找到需求背后的问题
    • 赶工的代价会以细小缺陷慢慢流失用户
    • 让小瑕疵可见,每周自主发现质量问题,约 10% 的 bug 修复已自动化
    • 产品与交互
    • 团队与组织
  904. 40:46
    Building Generative Image & Video models at Scale - Sander Dieleman, Google DeepMind

    Google DeepMind 的 Sander Dieleman:大规模生成图像视频模型(Veo、Nano Banana)——潜空间表示、扩散 vs 自回归、噪声与频谱、U-Net、引导采样。

    可以学到 / 用在工作里
    • 训练视觉生成器要决定压缩什么:潜空间保留网格、加通道补信息
    • 单次去噪预测是模糊的,要小步迭代,扩散从粗到细生成
    • 为空间与时间选架构,用引导放大条件信号、把采样算力花在关键处
    • 模型与训练
    • 多模态与语音
  905. 1:57:03
    Full Workshop: Build Your Own Deep Research Agents - Louis-François Bouchard, Paul Iusztin, Samridhi

    Towards AI 两小时工作坊:构建自己的深度研究 agent(MCP 研究 agent + 受约束的技术写作流程),写作指南减少套话,LLM 评委与留出集。

    可以学到 / 用在工作里
    • 流畅的文章仍需要研究与编辑
    • 按任务选择自主程度,耦合的决策放在一个 agent 里,把上下文当预算
    • 研究足够广后交接聚焦的产物,从人写的写作指南出发,用校准的评委和留出集评估
    • Harness 与架构
    • 检索与知识
  906. 15:26
    Gemma, DeepMind's Family of Open Models — Omar Sanseviero, Google DeepMind

    Google DeepMind 主题演讲:Gemma 4 开放多模态模型可在手机、笔记本、树莓派和消费级 GPU 上运行,MoE 与 31B 版本、并行离线 agent。

    可以学到 / 用在工作里
    • 按设备、延迟或能力选择 Gemma 4 的尺寸
    • 有效参数与总参数不同,不用 API 也能跑 agent 和编码
    • 结合多模态输入与语言适配,沿用开发者已有的工具
    • 模型与训练
  907. 18:51
    The New Application Layer - Malte Ubl, CTO Vercel

    Vercel CTO Malte Ubl:新的应用层——AI 工程正在接替 Web 开发,agent 让以前不划算的软件变得可行;vercel.com 近期 60% 以上页面浏览来自 AI agent,转向 API、CLI 与面向 agent 的基础设施(Chat SDK、just-bash)。

    可以学到 / 用在工作里
    • agent 让以前不划算的软件变得值得写
    • 从持续服务受益的工作开始,压缩研究但保留人的决定,问问人们讨厌做什么
    • vercel.com 大量浏览来自 agent,要提供 API、CLI 和把编排与执行分开的基础设施
    • 范式与判断
    • 产品与交互
  908. 10:50
    Running LLMs on your iPhone: 40 tok/s Gemma 4 with MLX — Adrien Grondin, Locally AI

    Locally AI:在 iPhone 上用 MLX 以每秒 40 token 运行 Gemma 4,mlx-swift-lm 原生集成与量化模型选择。

    可以学到 / 用在工作里
    • 用 mlx-swift-lm 在 iPhone 上原生集成本地模型
    • 选兼容权重并按负载选量化档位(约 40 tok/s)
    • 模型下载也是产品体验的一部分,可扩展到本地服务器、工具调用和结构化输出
    • 模型与训练
    • 基础设施与算力
  909. 18:45深读
    The Future of MCP — David Soria Parra, Anthropic

    Anthropic 的 David Soria Parra:MCP 的未来——每月 1.1 亿次下载、增速超过同期的 React;2026 年的连接栈是 Skills + MCP + CLI/Computer Use,各有用途,最好的 agent 三者并用。

    可以学到 / 用在工作里
    • 自研 agent 客户端时实现工具搜索/按需加载,而不是把所有 MCP 工具一次塞进上下文。
    • 设计 MCP 服务器时按用户工作流暴露少量高层工具,并返回结构化输出,便于 agent 用代码组合。
    • 需要人选择或查看的环节考虑用 MCP Apps 返回交互界面,而不是纯文本。
    • 上下文 / Skills / MCP
  910. 19:40
    Code Mode: Let the Code do the Talking - Sunil Pai, Cloudflare

    Cloudflare 的 Code Mode:让模型针对类型化 API 生成可执行 JavaScript,而不是反复交换 JSON 工具调用;基于 OpenAPI 的搜索与执行暴露大型 API 而不撑爆上下文。

    可以学到 / 用在工作里
    • 反复交换 JSON 工具调用像编舞,让模型针对类型化 API 写可执行代码
    • 把整个 API 放在搜索 + 执行两个工具后面,避免撑爆上下文
    • 从无权限的执行开始,只授予需要的能力
    • 上下文 / Skills / MCP
    • Harness 与架构
  911. 20:37
    How Google DeepMind is researching the next Frontier of AI for Gemini — Raia Hadsell, VP of Research

    Google DeepMind 研究副总裁 Raia Hadsell:Gemini 之外的前沿研究——未来架构、多模态嵌入、Matryoshka 表示学习、GraphCast 天气预报与 Genie 3D 世界模型。

    可以学到 / 用在工作里
    • 找根问题:识别概念而非其呈现形式
    • 一个语义空间、可调向量大小(Matryoshka 嵌入)
    • 学习预测大气(GraphCast)并建模不确定性,生成可响应、有记忆的世界(Genie)
    • 模型与训练
  912. 18:37
    The Friction is Your Judgment — Armin Ronacher & Cristina Poncela Cubeiro, Earendil

    Armin Ronacher 等:摩擦就是你的判断——无摩擦的 AI 编码会侵蚀判断、诱导跳过评审;建议 agent 可读的代码库:明确边界、集中 SQL 访问、共享 UI 原语。

    可以学到 / 用在工作里
    • 无摩擦的 AI 编码会侵蚀判断,省下的时间会变成预期产出
    • 可运行代码可能掩盖无效系统,让组件间的流动显式
    • 把设计约束变成机械检查(集中 SQL 访问、共享 UI 原语),人只做聚焦评审
    • 质量与评审
    • 范式与判断
  913. 46:20深读
    Harness Engineering: How to Build Software When Humans Steer, Agents Execute — Ryan Lopopolo, OpenAI

    OpenAI 的 Ryan Lopopolo「harness 工程」:agent 写全部代码,人负责委托、系统设计与护栏;禁用编辑器、用 Codex + skills 操作应用、自动化 lint 规则与评审 agent。

    可以学到 / 用在工作里
    • 把团队的隐性标准(重试/超时、文件长度、依赖方向、共享工具)写成 lint 和结构测试,报错文案直接告诉 agent 怎么改。
    • 按「人设」建评审 agent(前端架构、可靠性、可扩展性、安全),每次 push 触发,只报阻塞级问题,并把新的评审意见持续追加进对应文档。
    • 不要把所有规则放进初始提示;让 lint、测试、评审在执行中按需送达要求。
    • Harness 与架构
    • 质量与评审
  914. 44:12深读
    State of the Claw — Peter Steinberger

    Peter Steinberger「State of the Claw」:OpenClaw 五个月 3 万次提交、近 2000 贡献者、1142 份安全通告;基金会治理、访问边界与迭代式构建。

    可以学到 / 用在工作里
    • 给个人/团队 agent 设三条边界:谁能下指令、在什么沙箱里运行、能看到哪些数据;外部内容一律标记为不可信。
    • 处理安全报告时按真实部署评估可利用性,而不是只看 CVSS 分数;准备好应对 AI 生成的大量报告。
    • 热门开源项目要尽早解决治理:中立组织、跨公司维护者、全职人员,以及对 agent 生成贡献的过滤。
    • 安全与隔离
    • Harness 与架构
  915. 18:25深读
    Building pi in a World of Slop — Mario Zechner

    Mario Zechner:在 slop 世界里构建 pi——上下文要归自己控制,极简内核(四个工具、短提示)+ 可热重载的 TypeScript 扩展;开源的 agent 垃圾 PR 问题;慢下来,关键代码逐行读。

    可以学到 / 用在工作里
    • 检查你用的 harness 背着你往上下文里加了什么(system reminder、裁剪、LSP 注入);需要时选可观测、可定制的工具。
    • 自研 agent 时先做最小内核(短提示 + 少量通用工具),把扩展点和文档做好,让 agent 能自己写扩展。
    • 对 agent 生成的 issue/PR 设「人类门槛」:要求人写的简短描述、维护白名单(如 Vouch),并用聚类工具处理重复问题。
    • 编码 agent
    • Harness 与架构
  916. 43:52
    $1 AI Guardrails: The Unreasonable Effectiveness of Finetuned ModernBERTs – Diego Carpintero

    1 美元的 AI 护栏:提示与上下文注入、RAG 与 MCP 攻击面,用不到 1 美元微调 ModernBERT 做低延迟、自托管的安全判别器。

    可以学到 / 用在工作里
    • 提示注入把不可信文本变成指令,检索、工具和 agent 扩大攻击面
    • 零信任:每个关键边界都设检查点
    • 不到 1 美元微调 ModernBERT 做低延迟、自托管的安全分类器,减少 padding 计算
    • 安全与隔离
    • 模型与训练
  917. 24:34
    Paperclip: Open Source Human Control Plane for AI Labor — Dotta Bippa

    Paperclip:开源的 AI 劳动力人类控制面,npx paperclipai onboard,CEO/CTO/专家 agent 的层级委托,兼容 Codex、Claude、Gemini、OpenClaw。

    可以学到 / 用在工作里
    • 围绕共享上下文、委托任务、评审与审批组织 agent
    • 让纠正可复用并强制评审,把重复工作打包成例行任务
    • 从一个 agent 开始,每加一个 agent 都要证明价值,人负责偏好与标准
    • 软件工厂 / 多 agent
    • Harness 与架构
  918. 40:51
    Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI

    Agenta 工作坊:用 GEPA 构建真正有效的 LLM 评委——在 τ-bench 航空客服场景的 599 条人工标注轨迹上校准四个针对性评委。

    可以学到 / 用在工作里
    • 监控说一切正常时,评测决定应用改进速度
    • 取消成功也可能违反政策,从观察到的错误推导指标
    • 人工标注的解释提供缺失的政策知识,GEPA 生成候选并保留互补的评委
    • 评测
  919. 10:15
    Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

    NVIDIA:在 DGX Spark 上可复现地基准测试本地 LLM(vLLM、Qwen、Docker 隔离、预热、GPU 遥测),128GB 统一内存。

    可以学到 / 用在工作里
    • 可复现基准:Docker 隔离、三次预热、每秒 GPU 遥测
    • 衡量响应何时开始(首 token),而不只是生成速度
    • 模型装得下不等于喂得快,量化与尺寸影响完成速度
    • 基础设施与算力
    • 模型与训练
  920. 22:47
    One Registry to Rule them All - Sonny Merla, Mauro Luchetti, & Mattia Redaelli, Quantyca

    Amplifon:统一注册表治理企业 AI——集中 AI 网关、Entra ID 认证、预算与审计,MCP 服务器与 A2A agent 注册表、agent 卡片与血缘。

    可以学到 / 用在工作里
    • 每个团队都自建基础设施会失控:战略控制与交付分开
    • 共享 AI 网关之上连接 MCP 与 A2A 三个注册表
    • 随部署发布 agent 卡片,把技术资产连到业务用例与血缘
    • 基础设施与算力
    • 安全与隔离
  921. 52:54
    AI Didn’t Kill the Web, It Moved in! — Olivier Leplus (AWS) & Yohan Lasorsa (Microsoft)

    AWS 与 Microsoft:AI 没有杀死 Web,而是住了进来——编码 agent 用 SKILL.md 和 GitHub CLI 实现 issue,Playwright 调试,浏览器原生 AI 能力。

    可以学到 / 用在工作里
    • 编码 agent 用 SKILL.md 和 GitHub CLI 实现 issue,在 DevTools 里调试再写回磁盘
    • 浏览器管理的本地模型做评论摘要和校对,返回精确的编辑位置
    • 给 agent 结构化工具操作购物车和表单,并保留人工审批门
    • 编码 agent
    • 产品与交互
  922. 26:28
    From Chaos to Choreography: Multi-Agent Orchestration Patterns That Actually Work — Sandipan Bhaumik

    Databricks:多 agent 编排模式——从一个 agent 扩到多个是分布式系统问题;用一次过期缓存事故讲竞态,对比事件驱动的编舞与中心化编排(LangGraph),不可变版本化状态。

    可以学到 / 用在工作里
    • 多 agent 是分布式系统问题:过期缓存的信用分导致错误决策
    • 决定谁拥有协调(事件驱动编舞 vs 中心编排)
    • 传递版本而非覆盖共享记录,交接时拒绝不可接受输入,用熔断器和补偿撤销
    • Harness 与架构
    • 软件工厂 / 多 agent
  923. 15:51
    OpenRAG: An open-source stack for RAG — Phil Nash

    IBM 的 OpenRAG:开源 RAG 栈(Docling + OpenSearch + Langflow),大上下文窗口不能消除检索难题,层级切块与 Granite-Docling VLM。

    可以学到 / 用在工作里
    • 大上下文窗口解决不了检索
    • 先建基线再保留文档结构(Docling),选嵌入和索引做混合检索
    • 让 agent 自己选择搜索,在 Langflow 里本地定制流程
    • 检索与知识
  924. 40:34
    Let LLMs Wander: Engineering RL Environments — Stefano Fiorucci

    deepset 工作坊:让 LLM 去闯荡,工程化 RL 环境——从 o1、DeepSeek-R1、GRPO、PPO 到用 Prime Intellect Verifiers 和 prime-rl 做多轮环境(井字棋示例)。

    可以学到 / 用在工作里
    • 状态、动作、奖励、循环:从模仿答案转向奖励结果
    • 用 Verifiers 构建单轮再到多轮环境,加入状态和工具
    • 对手课程与受控随机让难度可调、比较公平,把评测 harness 变成训练环境
    • 模型与训练
  925. 38:26
    Why, and how you need to sandbox AI-Generated Code? — Harshil Agrawal, Cloudflare

    Cloudflare:为什么以及如何沙箱化 AI 生成的代码——把它当不可信输入,对比受限 V8 isolate 与完整 Linux 容器沙箱,能力受控的 Dynamic Workers。

    可以学到 / 用在工作里
    • 生成的代码拥有你给的全部权限,要当不可信输入
    • 能力安全:只给需要的 key
    • 按场景选边界(V8 isolate vs 完整 Linux 容器),限制网络并管理沙箱生命周期
    • 安全与隔离
    • 基础设施与算力
  926. 21:14
    Platforms for Humans and Machines: Engineering for the Age of Agents — Juan Herreros Elorza

    Banking Circle:内部开发者平台应同样服务 AI agent——API 自助、CLI/MCP 接口、本地验证、机器可访问的可观测性与可发现的文档。

    可以学到 / 用在工作里
    • 部署流程依赖「知道该问谁」时 agent 修不了
    • 让整个运维自助(API),把反馈移进 agent 工作循环(本地验证)
    • 把说明放在 agent 能找到的地方,欢迎贡献但不转移责任,衡量成功
    • 基础设施与算力
    • 团队与组织
  927. 11:30
    Cognitive Exhaust Fumes, or: Read-Only AI Is Underrated — Šimon Podhajský, Head of AI, Waypoint

    Waypoint:只读 AI 被低估了——个人观察者只读访问六个数据源、只在隔离区写分析,每周反思并推荐该和谁聊最近读的东西。

    可以学到 / 用在工作里
    • 只读 AI 被低估:观察而不代你行动
    • 分开数据源、分析与输出,只在隔离区写
    • 每周反思、推荐该和谁讨论最近读的东西,但仍要注意隐私风险(致命三要素)
    • 产品与交互
    • 安全与隔离
  928. 22:56
    Contact Center Voice AI: Low-Latency Intelligence Extraction from Messy Audio Streams — Dippu Singh

    Fujitsu:联络中心语音智能管线——多通道录音、转写、用 LLM 抽取客户意图与坐席动作、同步 CRM,早期 PII 脱敏。

    可以学到 / 用在工作里
    • 电话结束后工作才开始:多通道录音保留谁说了什么
    • 早期 PII 脱敏,转写整理后再抽取意图与坐席动作
    • 规定摘要结构与分类任务,生成与写入 CRM 之间加坐席确认
    • 多模态与语音
    • 行业应用
  929. 24:33
    Your Insecure MCP Server Won't Survive Production — Tun Shwe, Lenses

    Lenses:不安全的 MCP 服务器活不过生产——减少暴露工具、校验输入、防工具描述投毒、避免泄露敏感上下文(参照 OWASP)。

    可以学到 / 用在工作里
    • 先决定 agent 能看到哪些工具和数据,按结果设计工具并约束输入
    • 拒绝自由嵌套的参数防命令注入,描述精确、响应小、权限窄
    • 跨过部署安全悬崖:远程传输、OAuth、上游委托与追踪,防邻居服务器工具描述投毒
    • 安全与隔离
    • 上下文 / Skills / MCP
  930. 40:49
    Bending a Public MCP Server Without Breaking It — Nimrod Hauser, Baz

    Baz:改造公共 Playwright MCP 服务器用于生产 agent——工具包装、无障碍快照、工具过滤与注入、确定性路径校验护栏。

    可以学到 / 用在工作里
    • 工具越多 agent 可能越差:移除评审者不需要的选择
    • 教 agent 先检查再动作,导航失败不要误判为需求不满足
    • 确定性路径校验拒绝无效截图目标,固定登录流程、捕获证据
    • 上下文 / Skills / MCP
    • Harness 与架构
  931. 27:03
    Agentic Engineering: Working With AI, Not Just Using It — Brendan O'Leary

    Brendan O'Leary:agentic 工程是指挥而非被动接受——把 agent 当能干但会犯错的初级开发者,AGENTS.md 与精选 MCP 管理上下文,会话退化时用摘要交接重启,频繁 Git 提交。

    可以学到 / 用在工作里
    • agent 快、读得多、却自信地犯错,像能干的初级开发者
    • 上下文会成为负担:持久化、选择、压缩、隔离,占位符可能被当成需求
    • 先研究再写代码,把理解变成可执行计划,用 Git 频繁提交作为第一道评审
    • 编码 agent
  932. 1:15:51
    How METR measures Long Tasks and Experienced Open Source Dev Productivity - Joel Becker, METR

    METR 工作坊:如何度量长任务与资深开源开发者的生产力——agent 采用的 J 曲线、不可靠的自评、在成熟开源仓库的自然任务上评估的难点。

    可以学到 / 用在工作里
    • 任务时长衡量的是人的工作量
    • 学习新工具会先花时间再省时间(J 曲线),自评不可靠
    • 写 SQL 容易、懂数据含义难,能力测量仍遗漏专家开发与物理生产中的工作
    • 评测
    • 团队与组织
  933. 1:22:12
    Identity for AI Agents - Patrick Riley & Carlos Galan, Auth0

    Auth0 工作坊:AI agent 的身份——异步人工审批、Token Vault 委托访问与令牌交换、细粒度授权,MCP 应用实现。

    可以学到 / 用在工作里
    • agent 不知道你是谁就无法施加任何授权
    • 身份要在聊天会话之外存续,登录建立身份、关联账户授予访问
    • 令牌获取留在工具实现里,下单等动作前异步请求人工审批
    • 安全与隔离
  934. 1:18:30
    OpenAI + @Temporalio : Building Durable, Production Ready Agents - Cornelia Davis, Temporal

    Temporal 工作坊:OpenAI Agents SDK + Temporal 构建持久、可上生产的 agent——持久化 LLM 调用避免重复花 token、事件溯源与 worker 恢复、activity 作为工具。

    可以学到 / 用在工作里
    • 把执行历史放在进程外:activity 做工作,workflow 协调
    • 持久化 LLM 调用,worker 挂掉后恢复不重复花 token
    • 恢复仍需安全的副作用,工具分发与循环分开
    • 基础设施与算力
    • Harness 与架构
  935. 54:32
    Your MCP Server is Bad (and you should feel bad) - Jeremiah Lowin, Prefect

    FastMCP 作者 Jeremiah Lowin:你的 MCP 服务器很烂——MCP 应设计成 agent 原生产品而不是暴露 REST API,聚焦的工具面、以 agent 为中心的工作流、异步后台任务。

    可以学到 / 用在工作里
    • MCP 服务器应该是 agent 原生产品,而不是 REST API 包装
    • 把订单查询做成一个 agent 故事,让有效参数显而易见,避免紧耦合参数
    • 文档与错误决定下一步,只暴露相关工具,长任务用异步后台任务
    • 上下文 / Skills / MCP
  936. 1:03:49
    Spec-Driven Development: Agentic Coding at FAANG Scale and Quality — Al Harris, Amazon Kiro

    Amazon Kiro 工作坊:FAANG 规模与质量的规格驱动开发——提示变成结构化需求、验收标准、设计与实现任务,steering 文档与上下文管理。

    可以学到 / 用在工作里
    • 把验收标准变成可检验的属性
    • 把外部信息带进规格,让产物表达你需要评审的内容
    • 质疑提示里预设的解法,注意改 MCP 配置会破坏缓存
    • 上下文 / Skills / MCP
    • 编码 agent
  937. 1:13:13
    DSPy: The End of Prompt Engineering - Kevin Madura, AlixPartners

    DSPy 工作坊「提示工程的终结」:把企业 AI 系统写成可测试的 Python 程序,类型化输出、多模态文档、模型路由、指标驱动的 GEPA 提示优化。

    可以学到 / 用在工作里
    • 用签名声明任务,把模型调用和普通 Python 控制流混合
    • 改变表示但保留任务,类型化输出、缓存调用与用量统计
    • 先定义成功指标再优化(GEPA),优化器让任务可迁移到更便宜的模型
    • 上下文 / Skills / MCP
    • 模型与训练
  938. 1:16:21
    Automating Large Scale Refactors with Parallel Agents - Robert Brennan, OpenHands

    OpenHands 工作坊:用人监督的并行 agent 团队自动化大规模重构(Redux 迁 Zustand),Git 编排、实际并发上限与 Refactor SDK。

    可以学到 / 用在工作里
    • 维护积压超出一个提示:选有可重复改动单元的工作
    • 一次性迁移会迷失,把依赖图变成可评审的批次
    • 每个 agent 有隔离工作区,验证→修复→评审→再验证,让人工评审领先于累积错误
    • 软件工厂 / 多 agent
    • 编码 agent
  939. 52:08
    Build a Prompt Learning Loop - SallyAnn DeLucia & Fuad Ali, Arize

    Arize 工作坊:构建提示学习循环——用打分反馈的元提示更新提示、GEPA 基准、LLM 评委与规则遵循评估。

    可以学到 / 用在工作里
    • 给优化器的不只是分数,还要评测解释
    • 把编码失败变成可复用规则,反思仍需可靠的评估器
    • agent 与评委分开迭代,从原型和有界任务开始,保存每个候选及结果
    • 评测
    • 上下文 / Skills / MCP
  940. 1:09:48
    Building durable Agents with Workflow DevKit & AI SDK - Peter Wielander, Vercel

    Vercel 工作坊:用 Workflow DevKit 与 AI SDK 把开源编码 agent 改造成持久、可观测的工作流——检查点、可恢复流、webhook、挂起与定时执行。

    可以学到 / 用在工作里
    • 本地能跑的 agent 仍需要生产运行时
    • 把编排函数抽出来编译成工作流,标记工具并检查运行
    • 可恢复流、持久等待(不占资源)与人工审批,注意重试、权限与部署版本的边界
    • 基础设施与算力
    • Harness 与架构
  941. 1:52:25深读
    Claude Agent SDK [Full Workshop] — Thariq Shihipar, Anthropic

    Anthropic 的 Thariq:Claude Agent SDK 完整工作坊——基于 bash 和文件系统的 agent 胜过纯工具式 agent,agent 是自己构建上下文和轨迹的系统,bash 是最强的可组合原语。

    可以学到 / 用在工作里
    • 构建 agent 先给它 Bash + 文件系统 + 少量脚本,而不是一大堆专用工具;用文件保存中间结果。
    • 把领域数据转成模型熟悉的接口(SQL、CSV、可 grep 的文件、CLI),检索效果往往比自定义搜索工具好。
    • 新 agent 的原型直接在 Claude Code 里跑通,再迁移到 SDK。
    • Harness 与架构
    • 编码 agent
  942. 4:09
    Welcome to AIE CODE - Jed Borovik, Google DeepMind

    AIE CODE 第二天开场(Google DeepMind 的 Jed Borovik)。

    可以学到 / 用在工作里
    • 开场引用 Richard Hamming 的《You and Your Research》,鼓励做重要的问题
    • AI Engineer 大会分 World's Fair 与 Summit 两个品牌
    • 第二天聚焦编码 agent 与模型实验室
    • 大会与活动