AI Engineer World's Fair 2026
Why Software Factories Fail(Harness Engineering is not Enough)
Dex Horthy · HumanLayer
「熄灯式」软件工厂失败的根源不在 harness,而在训练信号:编码模型的 RL 奖励只看「测试过没过」,不看几个月后改起来疼不疼。所以要把人工评审打开,并把人的判断前移到产品评审、架构、程序设计和垂直切片计划。
内容概要
Dex 曾经劝大家别读代码,这次公开纠正。他从团队原本的反馈回路讲起:需求、追踪器、实现、PR 检查、评审、部署、监控,生产本身就是开发回路的一部分。agent 把实现从几天压到几分钟,瓶颈就移到评审;「熄灯工厂」干脆不读代码,只靠测试和监控兜底。HumanLayer 2025 年 7 月试过全熄灯,结果一个顽固问题出现时,工程师要在故障中去读几个月没看过的代码。原因在训练:以 SWE-bench 类任务为例,奖励是二元的「修好且无回归」,只衡量当下行为,不衡量未来修改成本;坏架构的账单几个月后才到,信用分配极难。他的处方:重开代码评审,用 AI 帮忙把决策前移——产品评审、系统架构、程序设计(类型、签名、调用图)、垂直切片的实现顺序与阶段检查;30 分钟的对齐能省几小时评审。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 0:47
StrongDM 的软件工厂主张 agent 实现和验证、不需要人工代码评审;但 Faros AI 的数据显示评审意见变多变长、未审合并增加、每位开发者的事故和 bug 上升。harness 再好也补不了缺失的训练目标。
- 3:37
「软件工厂」一词可追溯到 1968 年 NATO 会议。原本的团队就是一组回路:决策 → Linear/Jira 状态机 → 实现与测试 → PR 检查与评审 → 部署 → 用户反馈与监控(包括半夜叫醒你的事故)。生产是开发回路的一部分而不是终点;架构提案和迭代计划把决策前移,减少返工。
- 6:01
用 agent 替换实现后,实现变成几分钟到几小时,人工评审和测试仍是几小时到几天。监控和用户反馈可以直接变成编码任务,但没人保证补丁正确;「熄灯」方案连读代码都省了,全押在测试、监控和灰度上。
- 7:25
HumanLayer 2025 年 7 月尝试全熄灯:快速变化的仓库三到六个月后 agent 就越来越难驾驭(他的经验值),一个顽固问题出现时,工程师得在用户宕机的同时去理解几个月没读过的代码。省下的评审时间会以事故处理的形式还回来。
- 9:00
可维护性 = 改一处不会意外弄坏别处(参见 Martin Fowler 的「霰弹式修改」与 John Ousterhout 的软件设计)。没有大量人工引导时,模型不会可靠地维持或改善代码库质量。
- 10:13
Claude Code 为什么胜过早有相同工具(读写改、grep、bash)的 Aider、Codebuff?他认为是模型实验室第一次用发布给用户的同一个 harness 训练模型:不仅工具名对,模型也学会了怎样选择和排列工具。不能更新权重的 harness 开发者天然处于劣势。
- 11:21
编码 RL 的奖励流程(以 SWE-bench Multilingual 为例,约 15 分钟的任务):签出人类修复前的提交 → 隐藏参考解和测试补丁 → agent 尝试 → 撤销它对测试文件的改动(防止改测试作弊)→ 应用隐藏测试 → 新旧测试全过才给奖励。它衡量的是「当下能跑」,不是「将来好改」。
- 13:11
坏架构的成本几个月甚至几年后才出现,信用分配很难:后来的维护失败该如何回溯到当初某个编码决定?更长更丰富的评测在尝试弥补:SWE-Marathon(超长任务)、DeepSWE(大型原创任务)、Cognition 的 FrontierCode(多 PR、范围约束与质量 rubric)。
- 14:48
处方第一步:重新打开人工代码评审,并用 AI 把会在评审时冒出的分歧提前处理。先做产品评审(问题、期望行为、必要时的原型),再做系统架构评审(组件契约、数据模型、约束)。小改动仍可直接交给 agent。
- 15:59
程序设计填补架构与代码之间的空白:类型、方法签名、程序布局、调用栈与交互(可以像 Dylan Mulroy 那样在计划中画调用图)。然后规划垂直切片:实现顺序、跨仓库协作、每阶段的检查,而不是模型常给的「横向」计划。30 分钟的规划能省几小时评审。
- 17:01
PR 堆积不只是数量问题,更是返工问题:对齐良好的 PR,评审者只需核对已讨论过的决定;没对齐的 PR 会把作者和评审者都拖回设计阶段,哪怕只有 20% 要返工,智力和情绪负担也很大。
可以用在日常工作里的
- 工程
对复杂的存量代码库不要「熄灯」:保留人工代码评审,并把评审成本降下来,而不是取消它。
- 工程
给中大型改动走四步对齐:产品评审 → 架构评审 → 程序设计(类型/签名/调用图)→ 垂直切片计划(每片可测);让 agent 帮你起草这些文档。
- 模型训练
理解编码模型的奖励只覆盖「测试通过」,所以要自己补上可维护性的检查:模块边界、依赖方向、重复度等静态规则和人工审查。
- 团队
衡量 PR 的返工率而不仅是数量;返工多说明对齐不足,应该把讨论前移。