AI Engineer NYC 2026

The State of AI in Software Development: Data from 400+ Orgs

Justin Reock · DX

2026-09-30 · 19分钟 · 14 万次观看 · AI Engineer

约 20 万工程师的数据:部署频率上升,但感知交付速度一年只提升约 4.5%、变更失败率波动加大、PR 平均从 44 行涨到 72 行;即使代码生成完美且瞬时,也只覆盖价值流的 14–16%,要同时度量使用、影响和成本,并把开发者体验做成 agent 体验。

观看原视频 ↗

内容概要

DX 的研究传承自 DORA、SPACE 和 DevEx 框架。Reock 讲了五个趋势:部署更频繁但价值未必同步提升;质量更不稳定(变更失败率从行业基准约 4% 升到 6% 就是 50% 的相对增长),可维护性感知上升而对改动的信心下降;PR 越来越大,因为瞬间生成的函数遇到 45 分钟的构建流水线,人倾向于攒大 PR;初级工程师用 AI 最多,但资深工程师用更少 token 省下差不多的时间,因为更能识别幻觉、理解架构;即使代码生成完美瞬时,也只解决价值流的 14–16%,摩根士丹利用 agent 把 COBOL/Perl 遗留代码解释成 PRD,每年约省 30 万小时,Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。DX 的 AI 度量框架把「使用、影响、成本」放在一起看。

幻灯片截图

DX 的 AI 度量框架同时看三件事:使用(谁、多频繁、什么用例)、影响(哪些结果应该变好)、成本(token 与工具支出);工具遥测加交付与质量指标,才能判断使用是否改善了工作。
11:56 DX 的 AI 度量框架同时看三件事:使用(谁、多频繁、什么用例)、影响(哪些结果应该变好)、成本(token 与工具支出);工具遥测加交付与质量指标,才能判断使用是否改善了工作。
好的开发者体验就是好的 agent 体验:易懂的上下文(准确结构化的文档和数据结构)、可管理的代码库、可靠快速的测试反馈。agent 找不到准确上下文或拿不到可靠测试反馈时,烧更多 token 解决不了平台问题。
13:28 好的开发者体验就是好的 agent 体验:易懂的上下文(准确结构化的文档和数据结构)、可管理的代码库、可靠快速的测试反馈。agent 找不到准确上下文或拿不到可靠测试反馈时,烧更多 token 解决不了平台问题。
生命周期上的 agent 案例:摩根士丹利让 agent 解读 COBOL、Perl 遗留代码并生成 PRD 给工程师,省去逆向工程,每年约节省 30 万小时;Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。
16:24 生命周期上的 agent 案例:摩根士丹利让 agent 解读 COBOL、Perl 遗留代码并生成 PRD 给工程师,省去逆向工程,每年约节省 30 万小时;Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:12

    部署频率在上升,但工程师感知的交付速度一年只提升约 4.5%。部署频率只描述工作在系统中的流动,不等于价值。

  2. 4:42

    变更失败率:有的组织改善、有的明显恶化。相对行业基准约 4%,上升 2 个百分点就是 50% 的相对增长。发布流水线和自动化测试的差异本来就会造成组织间差别,AI 放大了它。

  3. 6:42

    PR 平均从约 44 行涨到 72 行,伴随对改动信心下降。机制:函数瞬间生成,但构建流水线要 45 分钟,人自然攒成大 PR;改进验证速度才能保持小而可理解的改动。

  4. 8:42

    初级工程师用 AI 最多,但资深/Staff+ 工程师用更少的 token 节省了差不多的时间:同类任务里新人花更多 token,资深者更能识别幻觉、理解方案所处的架构。使用量不等于效率。

  5. 10:41

    DX 的 AI 度量框架同时看三件事:使用(谁、多频繁、什么用例)、影响(哪些结果应该变好)、成本(token 与工具支出);工具遥测加交付与质量指标,才能判断使用是否改善了工作。

  6. 13:11

    好的开发者体验就是好的 agent 体验:易懂的上下文(准确结构化的文档和数据结构)、可管理的代码库、可靠快速的测试反馈。agent 找不到准确上下文或拿不到可靠测试反馈时,烧更多 token 解决不了平台问题。

  7. 14:40

    他估计即使代码生成完全准确且瞬时,也只覆盖整个价值流的约 14–16%;需求、协调、评审、发布、运维仍在周围。观察到的吞吐提升远小于流行的「10 倍」说法。

  8. 16:10

    生命周期上的 agent 案例:摩根士丹利让 agent 解读 COBOL、Perl 遗留代码并生成 PRD 给工程师,省去逆向工程,每年约节省 30 万小时;Zapier 用 agent 摘要把站会从每周 5 次减到 2 次。

可以用在日常工作里的

  • 团队

    把部署频率、PR 吞吐与变更失败率、评审负担、业务价值放在一起看;单看速度指标会误判。

  • 工程

    优化 CI/构建速度,让小 PR 的成本足够低,避免 AI 时代的 PR 膨胀。

  • 团队

    按用例比较不同资历工程师的 token 效率,把资深者的用法沉淀成 skills 和培训。

  • 产品

    寻找编码之外的瓶颈:需求澄清、遗留代码理解、协调、事故准备,往往比写代码更值得自动化。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录