AI Engineer 2026

Training Your Own Agent Models With RL Is Now Practical

Jason Mancuso · Modal

2026-11-09 · 21分钟 · 2.2 万次观看 · AI Engineer

换模型只能在现有能力组合里挑;用 RL 训练自己的 agent 模型已可行:把失败的生产 trace 变成可重试的任务,用带三项修正的异步 GRPO 让落后的采样器样本仍可用,只传稀疏的权重增量实现跨云采样,混合不同 GPU 生成 rollout,训练依旧稳定且 rollout 成本降 15%。

观看原视频 ↗

内容概要

新模型出来,agent 团队跑评测、A/B、围绕最佳性价比模型重建 harness——但只能在已有的能力组合中选择。SFT 只教模型复现录下的那条路径,部署后模型早期一步走偏,后续就进入训练没覆盖的状态;RL 让模型在 harness 里尝试其他路径,用现有评测标准打分,失败的生产 trace 正好提供任务。系统里模型有两份工作:推理 GPU 上的采样器生成 rollout,训练器用梯度下降更新权重;异步时 v1 权重生成的 rollout 可能到达已是 v3 的训练器。Modal 在 GRPO 上加三项修正:掩码重要性采样处理 token 概率差异、处理多次更新间的漂移、考虑 top-p 采样器可选的 token 集合。GPU 碎片化:Modal 汇集约 15–20 家提供商的算力,4 或 8 个节点很快能调度,16 或 32 个连续节点要久得多;agent RL 大约每张训练 GPU 需要两张推理 GPU,把采样器移到别处可以释放训练节点,前提是只传权重增量 Δ = W(t+1) − W(t)(稀疏、可压缩)。不同代 GPU(B200 训练、H100/A100 采样)内核不同会带来数值差异;混合硬件时训练—采样不匹配增加约 4–5 倍,但奖励和梯度范数与全 B200 对照一样稳定,rollout 成本降 15%。实现基于已有的 RL 框架和推理引擎,已发表技术文章并计划开源。

幻灯片截图

SFT 只教录下的那条路径,模型部署后早期一步不同就进入未覆盖的状态;RL 让模型在 harness 中尝试其他路径,失败的生产 trace 提供任务,现有评测标准打分。
2:36 SFT 只教录下的那条路径,模型部署后早期一步不同就进入未覆盖的状态;RL 让模型在 harness 中尝试其他路径,失败的生产 trace 提供任务,现有评测标准打分。
异步 GRPO 的三项修正:掩码重要性采样处理 token 概率差异、修正跨更新的漂移、考虑 top-p 采样器可选的 token 集合。
8:48 异步 GRPO 的三项修正:掩码重要性采样处理 token 概率差异、修正跨更新的漂移、考虑 top-p 采样器可选的 token 集合。
「拥有 agent 技术栈」意味着理解现有 RL 框架与推理引擎这些组件;Modal 已发布技术文章并计划开源代码。
18:44 「拥有 agent 技术栈」意味着理解现有 RL 框架与推理引擎这些组件;Modal 已发布技术文章并计划开源代码。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:01

    换模型的策略有上限:团队只能在现有模型的能力组合中选择;训练自己的模型才能把产品特有的行为放进权重。

  2. 3:35

    SFT 只教录下的那条路径,模型部署后早期一步不同就进入未覆盖的状态;RL 让模型在 harness 中尝试其他路径,失败的生产 trace 提供任务,现有评测标准打分。

  3. 6:51

    采样器(推理 GPU 上生成 rollout)与训练器(更新权重)分离;异步运行时,v1 权重生成的 rollout 可能到达已是 v3 的训练器。

  4. 9:38

    异步 GRPO 的三项修正:掩码重要性采样处理 token 概率差异、修正跨更新的漂移、考虑 top-p 采样器可选的 token 集合。

  5. 12:34

    Modal 汇集约 15–20 家云的 GPU;4/8 节点好调度,16/32 个连续节点难。agent RL 约 2 张推理 GPU 配 1 张训练 GPU,把采样器分散到别的云,只传稀疏的权重增量。

  6. 17:33

    B200 训练 + H100/A100 等混合采样:训练—采样不匹配增加约 4–5 倍,但奖励与梯度范数和全 B200 对照一样稳定,rollout 成本降 15%。

  7. 19:18

    「拥有 agent 技术栈」意味着理解现有 RL 框架与推理引擎这些组件;Modal 已发布技术文章并计划开源代码。

可以用在日常工作里的

  • 模型

    如果你有大量带评分的 agent 任务(评测 + 失败 trace),RL 微调开源模型已经是可行选项,而不仅是前沿实验室的事。

  • 基础设施

    RL 的大头成本在 rollout 生成;可利用更便宜、分散的 GPU 采样。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录