原子概念 / Supervised Fine-Tuning
SFT与工具轨迹监督
通过合格示例训练稳定格式、抽取与工具行为,并保持与实际消息模板和工具协议一致。
检索别名:SFT · 监督微调 · 工具轨迹
01 输入
- 合格输入目标轨迹
- 固定base和模板
- assistant目标mask
02 处理机制
- 对齐call/result协议
- 训练并观测学习曲线
- 比较base和prompt基线
- 评持出回归及完整harness
03 输出与证据
- SFT权重或adapter
- 收益退化及训练manifest
SFT教的是被监督的行为
监督微调用合格输入与目标输出训练模型,适合稳定字段抽取、领域格式、工具选择、证据不足时退让和教学提示风格。它不保证模型学会最新法律事实或未来价格,也不替代检索权限。先明确要减少的稳定行为错误,确保样本目标比当前输出更可靠,而非仅因文字漂亮就进入训练。
多步Agent需要对齐真实协议
完整轨迹要保留工具请求、结果和恢复的关系,并与线上chat template及schema一致。检查assistant-only或completion-only等loss masking是否实际生效,尤其不要让模型背诵工具返回中的私人事实。用于SFT的失败案例应改成正确处理过程;未纠正错误可作诊断或偏好负例,不能不加区分作为正向示范。
训练参数跟随学习曲线
固定基座revision、tokenizer、数据manifest、模板、代码和依赖,记录序列长度、batch、学习率、epoch、精度、seed、资源和费用。先在小规模高质量样本上观察学习曲线,避免用固定“几千条就够”取代任务分析。验证格式、工具行为、拒答和跨域能力,训练loss下降仅说明拟合目标改善。
用完整Harness决定是否有价值
比较base加原prompt、base加改进prompt、SFT候选加相同prompt,在同一任务、数据和预算下多次运行。检查未见任务、严重错误、人工修订、成本和P95;训练之后仍可能依赖旧工具协议而退化。发布包含基座、adapter、模板与serving配置,量化或合并adapter后重新评测。TRL文档提供训练接口,实际业务效果须通过自己的合同验证。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 1
- LoRA参数高效适配 — 互补 → SFT与工具轨迹监督
LoRA可参数化SFT,也可用于其他目标。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- SFT与工具轨迹监督:原始文档 ↗官方文档 / 声明