DPO偏好训练

偏好对表达一种可学习取舍

DPO用同一任务下chosen与rejected响应对学习偏好，适合已有可靠比较标签的场景。标签必须说明偏好依据：证据忠实、遗漏更少、提示更合适，还是文风更简练。若评审只喜欢自信与长答案，模型可能更讨喜却更会编造；偏好不自动等于事实正确。

样本对要可比较

两份响应应面对相同输入与证据资格，避免chosen额外拥有rejected看不到的材料。保留任务、来源、评审、分歧、适用日期和错误类型，过滤仅由长度或格式差异决定的无效对。领域专家确认涉及法律效力、财务口径与教学策略的偏好，模型judge提供候选标签时仍需独立校准。

不把所有失败都变成负例

正确拒绝、保留unknown和请求必要信息，有时比完整回答更符合合同。构造安全但过度拒绝、简短但正确、详细却错误的对照，防止优化方向单一。按文档、客户、用户和题型分组划分，去除近重复；训练器、基座、参考策略、tokenizer和模板版本均需记录。

上线证据超出偏好胜率

评测既看pairwise偏好，也看确定性数字、引用、工具、权限和严重错误。模型在训练分布中更受欢迎，不证明未见任务更可靠。对DPO候选和base采用同一完整harness，保留人工修订和成本比较；量化、adapter加载与服务配置变化后重新回归。训练目标与硬授权分别执行，不能把“模型偏好安全”当作访问控制机制。

对chosen与rejected保留完整标注理由，定期抽查标签是否仍符合当前产品合同。