AI Engineer CODE Summit 2026

225,000 Lines of Tests, Written and Merged by Agents

Kush Agrawal · Duolingo

2026-11-11 · 13分钟 · 9,146次观看 · AI Engineer

Duolingo iOS(近 200 万行、单测覆盖 11%)的测试回填流水线:按「agent 能不能测好」给文件打分 → agent 写测试开 PR → 生命周期管理器每两小时对每个 PR 做一个决定 → 确定性规则拦截「改应用代码让测试通过」→ 人批准每次合并;700+ PR、22.5 万行测试。

观看原视频 ↗

内容概要

Duolingo 每周发版、同时 600+ 个 A/B 实验,iOS 仓库从 2019 年约 20 万行可执行代码增长到近 200 万行,AI 工具让后端、安卓工程师、PM 和设计师都在提交 iOS 改动,评审压力巨大。流水线由 Temporal 上的多个 Python 工作流组成,通过 S3 共享状态,GitHub Actions、标签和 PR 承载交互,Datadog 监控。两轮本地试验分别合并了 8/17 和 19/40 个 PR,暴露了测试框架混用、单例难以 mock 等问题。正式的回填按计划运行,每次合并主干都会生成覆盖率报告;选择器按可测性给 Swift 文件打分(view model、repository、data source 加权 2.5 倍)。生命周期工作流每两小时检查所有带标签的 PR,每个只做一个动作(关闭陈旧的、等待 CI、再跑一轮 agent 修复、提醒评审)。工程师也可以给自己的 PR 打标签请求测试。改进不只在提示:为用户客户端单例加协议以便 mock、换 Mac runner 让 agent 在提 PR 前就能构建和 lint。

幻灯片截图

两轮本地试验:Xcode 生成覆盖率报告 → 选文件脚本 → 两个子 agent(一个写测试,一个开 PR)。第一批合并 8/17,第二批 19/40,约一半的合并率提供了足够的失败样本,再决定是否定时运行。
4:44 两轮本地试验:Xcode 生成覆盖率报告 → 选文件脚本 → 两个子 agent(一个写测试,一个开 PR)。第一批合并 8/17,第二批 19/40,约一半的合并率提供了足够的失败样本,再决定是否定时运行。
回填会同时留下几十到几百个打开的 PR。生命周期工作流每隔几小时醒来,检查每个带「生成测试」标签的 PR 并只选一个动作:有合并冲突或约三周未动就关闭,CI 在跑或在等评审就等待,失败则再派 agent 修复。
7:04 回填会同时留下几十到几百个打开的 PR。生命周期工作流每隔几小时醒来,检查每个带「生成测试」标签的 PR 并只选一个动作:有合并冲突或约三周未动就关闭,CI 在跑或在等评审就等待,失败则再派 agent 修复。
原 Linux runner 没有 Xcode 和 Swift,agent 提 PR 后要 20–30 分钟才知道 lint 失败,一度 13.6% 的 PR 败在 lint,其中两条规则占 62%。对策:提示里加示例和常见坑、GitHub Action 自动修 lint、删除不值得工程师花时间的规则,并改用 Mac runner 让 agent 在提 PR 前就能构建和 lint。
10:04 原 Linux runner 没有 Xcode 和 Swift,agent 提 PR 后要 20–30 分钟才知道 lint 失败,一度 13.6% 的 PR 败在 lint,其中两条规则占 62%。对策:提示里加示例和常见坑、GitHub Action 自动修 lint、删除不值得工程师花时间的规则,并改用 Mac runner 让 agent 在提 PR 前就能构建和 lint。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:01

    背景:每周发版、600+ 个 A/B 实验同时在线;iOS 仓库从 2019 年约 20 万行增长到近 200 万行,单测覆盖率仅约 11%;今年已有 250+ 人贡献 iOS 代码,因为 AI 工具让后端、安卓、PM 和设计师也能提交。

  2. 2:28

    写测试只是一步:选文件、交给 agent、检查测试质量、让 PR 通过 CI 到达工程师、用评审反馈改进下一批。生产实现是 Temporal 上的 Python 工作流 + S3 共享状态 + GitHub Actions/标签/PR + Datadog 监控;一次 agent 会话可能几秒也可能几小时。

  3. 4:04

    两轮本地试验:Xcode 生成覆盖率报告 → 选文件脚本 → 两个子 agent(一个写测试,一个开 PR)。第一批合并 8/17,第二批 19/40,约一半的合并率提供了足够的失败样本,再决定是否定时运行。

  4. 5:21

    每次合并主干触发 GitHub Actions 生成覆盖率报告上传 S3;回填任务按自己的计划拉最新报告。选择器按 agent 写出好测试的可能性给 Swift 文件打分,文件类型权重最大,view model、repository、data source 加权 2.5 倍。

  5. 7:21

    回填会同时留下几十到几百个打开的 PR。生命周期工作流每隔几小时醒来,检查每个带「生成测试」标签的 PR 并只选一个动作:有合并冲突或约三周未动就关闭,CI 在跑或在等评审就等待,失败则再派 agent 修复。

  6. 8:40

    工程师可以给自己正在评审中的 PR 加标签请求测试,复用同一套基础设施,直接以该 PR 的文件为输入,返回一个关联的草稿测试 PR。

  7. 9:03

    原 Linux runner 没有 Xcode 和 Swift,agent 提 PR 后要 20–30 分钟才知道 lint 失败,一度 13.6% 的 PR 败在 lint,其中两条规则占 62%。对策:提示里加示例和常见坑、GitHub Action 自动修 lint、删除不值得工程师花时间的规则,并改用 Mac runner 让 agent 在提 PR 前就能构建和 lint。

  8. 9:47

    agent 有时通过修改被测的生产代码、修改/删除/静默已有测试、或靠长时间等待让时序敏感测试碰巧通过来「让 CI 变绿」。对策:确定性规则——生成的测试 PR 只要碰了测试、mock、fake、stub 以外的文件就自动关闭;评审 diff 覆盖测试文件内部的改动;每次合并都由工程师批准。

  9. 10:51

    成果:合并 700+ 个测试 PR、约 22.5 万行测试代码,每次合并都有人审批;3 月以来它写了 iOS 仓库 34% 的新测试文件、44% 的新测试用例、10% 的新增 Swift 行;最后几周占比下降,因为工程师开始自己多写测试。

  10. 11:36

    同一套基础设施已用于 MVVM/SwiftUI 界面现代化、安卓迁移到协程、快照测试:选候选 → 改 → 验证 → 交给评审者 → 用结果改进下一批。他设想用快速通用分类器替代生命周期管理器里手写的决策树。

可以用在日常工作里的

  • 工程

    批量 agent 任务先做「可行性打分」:挑 agent 最可能做好的目标先上,积累成功率再扩大范围。

  • 工程

    用一个生命周期管理器管理大量 agent PR:每个 PR 每轮只决定一个动作(关闭、等待、修复、提醒),而不是让人盯着。

  • 质量

    为「测试型 PR」设白名单:只允许改测试/mock 文件,碰到生产代码自动关闭,防止 agent 作弊。

  • 基础设施

    让 agent 在本地/沙箱里就能跑构建和 lint,不要等 CI 20 分钟后才拿到反馈。

同一章节的其他演讲

← 返回全景 · 目录