QLoRA与训练显存预算

量化基座上的Adapter训练

QLoRA路线使用量化基座减少训练资源需求，同时学习adapter。它与LoRA的联系是参数适配，与低比特推理的联系是表示和资源；这些选择都不保证任务精度不变。基座量化、训练目标、adapter以及最终部署精度应分别进入实验记录，不能只用“4bit”描述完整训练方案。

显存预算不能只看参数量

估算基座权重、量化元数据、adapter、激活、梯度、优化器、临时buffer和框架开销，并用真实序列长度与batch试跑。长context或多步轨迹会改变激活和吞吐，峰值内存比平均值更重要。记录硬件、kernel、精度、gradient checkpointing及失败恢复，不依据网上单例宣称某张卡必然支持某个企业训练集。

数据和协议要求没有放松

量化不降低对样本资格、专家纠正、loss masking和持出划分的要求。工具轨迹仍需匹配目标模型模板与schema。领域中少数关键数字、否定、引证或拒答退化，可能被总体loss和平均分掩盖，应设独立高风险回归切片，并检查是否需要不同精度或其他方法。

部署路径逐步验证

训练后的adapter可保留独立加载，也可根据支持方式合并，再按目标引擎部署。每次合并、重新量化、模板或serving版本变化都重测完整harness，比较基线质量、尾延迟和每成功任务费用。节省训练显存不等于生产一定便宜，小流量、冷启动和空闲GPU可能抹去收益。将实验假设与实测结果分开，保留回退到原模型的明确路径。