AI Engineer 2026
Why AI Makes You 100x Faster but Not Your Company
Mitchell Troyanovsky · Basis(联合创始人)
个人快 100 倍不等于公司快:给每个人一个 agent 会带来「能力缺口」(谁来管 skills、记忆、方法)和「信任缺口」;Basis 先写「行为规格」(可识别的触发条件 + 可观察的动作),在生产轨迹上检查这些行为,出错时在坏决策前后分叉复现,并按 agent 的履历和出错代价决定委托深度。
内容概要
Troyanovsky 的问题:要让全国的会计师事务所信任 agent 端到端完成生产工作,需要什么?工程师个人提速很明显,但组织靠流程在大量案例上产生好结果——任何一个人都会犯错,流程让负责人能信任整体。给每个人一个编码式 agent 带来两个缺口:能力缺口(描述任务、发出去很简单,背后却要有人管理 skills 和记忆、决定何时用 agent、选择方法)和信任缺口。观点化:读取一个 PDF 可以直接交给视觉语言模型、写 Python 调开源 OCR、或用专门服务——应由事务所或团队层面决定重要流程,员工委托时无需自己配置方法。评测:基于结果的评测需要已知答案或 rubric,可能有一百或一千个用例,生产中却有几十万种情境;轨迹本身能揭示没有标准答案时的问题。银行对账例子:账簿与银行流水不一致时,agent 可以记一笔差额「凑平」,总数一致了,但违反事务所政策——差异仍需调查。Basis 先写行为规格,挑选最重要的观点,每条有可识别的触发条件和可观察的动作;只在确实出现差异的运行上给「差异处理」打分。出错时分叉:在坏决策之后分叉问它为什么,在之前分叉测试修改后的上下文;更快的第一步实验是在编码 agent 里创建一个扮演生产 agent 的子 agent,给它生产时渲染的系统提示和 skills,看能否复现错误。委托:从窄任务开始,根据 agent 在这类工作上的履历和出错后果决定评审深度,类似对新员工逐步建立信任。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 0:12
问题:要让会计师事务所信任 agent 端到端完成生产工作需要什么?工程师个人的提速并不能自动变成组织的提速。
- 2:21
组织建立流程,期望在大量案例上产生好结果;个人可以有判断也会犯错,流程让负责人可以信任整体结果。
- 3:34
人人一个 agent 带来两个缺口:能力缺口(管理 skills、记忆、何时用、用什么方法)与信任缺口。
- 6:48
观点替用户做选择:读 PDF 可以用视觉模型、写 Python 调 OCR 或用专门服务——重要的方法应在事务所/团队层面定下来。
- 9:06
基于结果的评测只有成百上千个有标准答案的用例,生产中有几十万种情境;轨迹能在没有标准答案时揭示问题。
- 10:18
对账「凑平」:agent 记一笔差额让对账一致,总数对上了,却违反事务所政策——差异本身仍需调查。
- 11:49
行为规格:在写或改 agent 上下文之前先写,挑最重要的观点,每条有可识别的触发条件和可观察的动作;只在出现差异的运行上评分差异处理。
- 13:24
分叉调试:在坏决策之后分叉,问它为什么;在之前分叉,测试修改后的上下文。更便宜的第一步:在编码 agent 里让子 agent 扮演生产 agent,用生产时渲染的提示和 skills 复现错误。
- 17:10
按履历和出错代价委托:从窄任务开始,观察它稳定处理什么、哪里需要帮助,再决定评审深度。
可以用在日常工作里的
- 评测
为 agent 写「行为规格」:触发条件 + 期望动作,并在生产轨迹上自动检查(只对触发了的情况评分)。
- 团队
在团队层面统一关键方法(如文档解析、对账规则),而不是让每个员工各自配置 agent。