AI Engineer World's Fair 2026
In the Land of AI Agents, the Verifiers Are King
Tariq Shaukat · Sonar(CEO)
能跑的代码仍有缺陷,初期 3–5 倍的速度会在约三个月内消散回基线:要用「引导(上下文与约束)—验证(零信任、多层、多模型)—解决(修复 agent 持续维护)」包住代码生成,并把 agent 循环、CI 验证、持续维护三条回路连成系统。
内容概要
Shaukat 从 KPMG、EY 因幻觉撤回报告、律所因虚构判例出事讲起:看似可信的输出变成有后果的工作。METR 的任务时长视野按人类专家完成时间衡量任务难度,进展迅速但取决于成功率阈值。Sonar 的基准让模型解 4000 多道题,同时评估功能正确性和代码属性:能跑的代码仍有 bug、漏洞和可维护性问题。他引用卡内基梅隆的研究:初期 3–5 倍的速度约三个月后回落到接近基线——多写代码不等于完成更多工作。框架 ACDC(以 agent 为中心的开发周期):引导(给 agent 仓库上下文和约束,Sonar Vortex)、验证(零信任多层:算法、确定性规则、不同模型的 AI 评审各管一类问题)、解决(修复 agent 持续维护仓库)。整洁的代码减少下一个 agent 的工作量。忽视验证和维护,每个任务都会给下一个任务留下更难的起点;他报告某大银行试点问题减少 92%。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 1:27
看似可信的输出变成有后果的工作时出问题:KPMG、EY 因幻觉撤回报告,律所因虚构的引用和判例惹上麻烦。
- 3:09
METR 的任务完成时间视野:按人类专家完成任务所需时间衡量难度,估计 agent 在给定成功率下能完成多长的任务;进展很快,但数值依赖成功率阈值,且是人类任务时长而不是 agent 运行时间。
- 4:43
Sonar 基准让模型解 4000 多道题,同时评估功能正确性和代码属性(bug、漏洞、可维护性):通过功能测试的代码依然带着缺陷。
- 6:08
他引用卡内基梅隆的研究:初期 3–5 倍的速度提升在约三个月内消散回接近使用 agent 之前的基线。产出更多代码不等于完成更多工作,生成速度会变成维护工作。
- 8:28
ACDC(以 agent 为中心的开发周期):代码生成在中心,周围是三项持续的纪律——引导(给 agent 做出合适改动所需的信息与边界)、验证(检查结果)、解决(修复问题、维护仓库)。
- 9:27
引导分为上下文与约束:上下文帮助 agent 理解百万到十亿行级别的仓库(架构、依赖、约定),约束规定不能做什么。
- 11:21
零信任、多层验证:模型有各自的行为和偏差,用不同模型和不同技术(算法分析、确定性规则、AI 评审)从多个角度挑战生成结果,覆盖软件的复杂细节。
- 12:58
整洁的代码减少下一个 agent 的工作:agent 必须先理解代码库才能操作,整洁的仓库让它用更少 token、更少返工。修复 agent 与持续验证让仓库随变化保持健康。
- 14:33
三条回路连成系统:agent 循环里生成时就拿到上下文、约束和验证反馈并修正;CI 验证循环在 PR 层把关;持续维护循环清理存量问题。他报告与某大银行的测试中问题减少 92%。
可以用在日常工作里的
- 质量
在 agent 写代码的循环内就接入静态分析和安全扫描反馈,而不是等到 PR。
- 质量
跟踪 AI 代码带来的技术债与维护工作量,定期安排修复 agent 清理,防止速度红利消散。