跳到正文
SGSteven Guan

原子概念 / Supervised Fine-Tuning

SFT与工具轨迹监督

通过合格示例训练稳定格式、抽取与工具行为,并保持与实际消息模板和工具协议一致。

要解决的问题怎样用合格轨迹教稳定行为,并证明超越prompt基线?

检索别名:SFT · 监督微调 · 工具轨迹

BLUEPRINT局部蓝图

01 输入

  1. 合格输入目标轨迹
  2. 固定base和模板
  3. assistant目标mask
→

02 处理机制

  1. 对齐call/result协议
  2. 训练并观测学习曲线
  3. 比较base和prompt基线
  4. 评持出回归及完整harness
→

03 输出与证据

  1. SFT权重或adapter
  2. 收益退化及训练manifest

SFT教的是被监督的行为

监督微调用合格输入与目标输出训练模型,适合稳定字段抽取、领域格式、工具选择、证据不足时退让和教学提示风格。它不保证模型学会最新法律事实或未来价格,也不替代检索权限。先明确要减少的稳定行为错误,确保样本目标比当前输出更可靠,而非仅因文字漂亮就进入训练。

多步Agent需要对齐真实协议

完整轨迹要保留工具请求、结果和恢复的关系,并与线上chat template及schema一致。检查assistant-only或completion-only等loss masking是否实际生效,尤其不要让模型背诵工具返回中的私人事实。用于SFT的失败案例应改成正确处理过程;未纠正错误可作诊断或偏好负例,不能不加区分作为正向示范。

训练参数跟随学习曲线

固定基座revision、tokenizer、数据manifest、模板、代码和依赖,记录序列长度、batch、学习率、epoch、精度、seed、资源和费用。先在小规模高质量样本上观察学习曲线,避免用固定“几千条就够”取代任务分析。验证格式、工具行为、拒答和跨域能力,训练loss下降仅说明拟合目标改善。

用完整Harness决定是否有价值

比较base加原prompt、base加改进prompt、SFT候选加相同prompt,在同一任务、数据和预算下多次运行。检查未见任务、严重错误、人工修订、成本和P95;训练之后仍可能依赖旧工具协议而退化。发布包含基座、adapter、模板与serving配置,量化或合并adapter后重新评测。TRL文档提供训练接口,实际业务效果须通过自己的合同验证。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1
  • LoRA参数高效适配 — 互补 → SFT与工具轨迹监督

    LoRA可参数化SFT,也可用于其他目标。

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. SFT与工具轨迹监督:原始文档 ↗官方文档 / 声明