AI Engineer NYC 2026
The State of AI in Software Development: Data from 400+ Orgs
Justin Reock · DX
约 20 万工程师的数据:部署频率上升,但感知交付速度一年只提升约 4.5%、变更失败率波动加大、PR 平均从 44 行涨到 72 行;即使代码生成完美且瞬时,也只覆盖价值流的 14–16%,要同时度量使用、影响和成本,并把开发者体验做成 agent 体验。
内容概要
DX 的研究传承自 DORA、SPACE 和 DevEx 框架。Reock 讲了五个趋势:部署更频繁但价值未必同步提升;质量更不稳定(变更失败率从行业基准约 4% 升到 6% 就是 50% 的相对增长),可维护性感知上升而对改动的信心下降;PR 越来越大,因为瞬间生成的函数遇到 45 分钟的构建流水线,人倾向于攒大 PR;初级工程师用 AI 最多,但资深工程师用更少 token 省下差不多的时间,因为更能识别幻觉、理解架构;即使代码生成完美瞬时,也只解决价值流的 14–16%,摩根士丹利用 agent 把 COBOL/Perl 遗留代码解释成 PRD,每年约省 30 万小时,Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。DX 的 AI 度量框架把「使用、影响、成本」放在一起看。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 0:12
部署频率在上升,但工程师感知的交付速度一年只提升约 4.5%。部署频率只描述工作在系统中的流动,不等于价值。
- 4:42
变更失败率:有的组织改善、有的明显恶化。相对行业基准约 4%,上升 2 个百分点就是 50% 的相对增长。发布流水线和自动化测试的差异本来就会造成组织间差别,AI 放大了它。
- 6:42
PR 平均从约 44 行涨到 72 行,伴随对改动信心下降。机制:函数瞬间生成,但构建流水线要 45 分钟,人自然攒成大 PR;改进验证速度才能保持小而可理解的改动。
- 8:42
初级工程师用 AI 最多,但资深/Staff+ 工程师用更少的 token 节省了差不多的时间:同类任务里新人花更多 token,资深者更能识别幻觉、理解方案所处的架构。使用量不等于效率。
- 10:41
DX 的 AI 度量框架同时看三件事:使用(谁、多频繁、什么用例)、影响(哪些结果应该变好)、成本(token 与工具支出);工具遥测加交付与质量指标,才能判断使用是否改善了工作。
- 13:11
好的开发者体验就是好的 agent 体验:易懂的上下文(准确结构化的文档和数据结构)、可管理的代码库、可靠快速的测试反馈。agent 找不到准确上下文或拿不到可靠测试反馈时,烧更多 token 解决不了平台问题。
- 14:40
他估计即使代码生成完全准确且瞬时,也只覆盖整个价值流的约 14–16%;需求、协调、评审、发布、运维仍在周围。观察到的吞吐提升远小于流行的「10 倍」说法。
- 16:10
生命周期上的 agent 案例:摩根士丹利让 agent 解读 COBOL、Perl 遗留代码并生成 PRD 给工程师,省去逆向工程,每年约节省 30 万小时;Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。
可以用在日常工作里的
- 团队
把部署频率、PR 吞吐与变更失败率、评审负担、业务价值放在一起看;单看速度指标会误判。
- 工程
优化 CI/构建速度,让小 PR 的成本足够低,避免 AI 时代的 PR 膨胀。
- 团队
按用例比较不同资历工程师的 token 效率,把资深者的用法沉淀成 skills 和培训。
- 产品
寻找编码之外的瓶颈:需求澄清、遗留代码理解、协调、事故准备,往往比写代码更值得自动化。