原子概念 / Training Data Governance
训练数据资格与轨迹治理
保存数据用途许可、可见证据、版本、专家修订与分组;失败轨迹不直接成为SFT正向目标。
检索别名:训练数据 · loss masking · 授权
01 输入
- 样本及用途授权
- 纠正轨迹和评审
- 模板schema及保留规则
02 处理机制
- 核训练资格去标识
- 明确目标token及mask
- 按实体时间分组去重
- 冻结manifest和删除责任
03 输出与证据
- 合格训练数据版本
- 独立验证集及污染记录
可读不等于可训练
每条训练样本保存来源、授权主体、用途许可、保留期限、脱敏状态、任务家族、输入可见证据、工具版本、目标输出和专家修订。企业拥有访问材料的账号,并不自动拥有模型训练或教师蒸馏权;知识接入、评测使用、训练使用和对外发布应分别判断。数据资格随撤权和合同变化更新。
监督目标必须明确
工具轨迹匹配实际chat template、tokenizer、工具schema以及call/result格式。明确loss覆盖哪些角色和token,通常不要将用户私有输入、工具事实或错误动作直接当作模型要模仿的目标。原失败轨迹可用于诊断或偏好负例;SFT正向目标使用经纠正的响应和恢复行为,错误步骤按目标屏蔽或明确标注。
划分依据真实关联
按公司、文档、合同matter、课程、学生或题型家族分组并去近重复;金融再按公开可得时间划分。相邻段落与同一报告改写不能横跨train和test,教师合成的近似题也可能污染。锁定test不反复回馈给优化器,并保留后来新建的fresh audit。历史金融任务还需警惕基础模型参数已知道未来结果。
数据集是可追溯资产
保留正确拒绝、无答案、冲突、工具失败和恢复的合格样本,避免只教完美短路径。数据manifest记录样本hash、筛选规则、版本和可用scope;删除请求不仅影响源库,还要判断派生数据、checkpoint与adapter的责任边界。权重中的逐用户删除通常比外部知识更难精确操作,因此高变化事实优先留在可更新、可溯源的数据层。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 2
- SFT与工具轨迹监督 — 依赖 → 训练数据资格与轨迹治理
监督目标需有资格、版本和纠正。
- 蒸馏与拒绝采样 — 依赖 → 训练数据资格与轨迹治理
教师输出和训练用途分别核资格。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- Anthropic:Agent评测方法 ↗官方文档 / 声明
学习收益需在独立业务任务验证。