模型升级与Harness交互评测

升级的是整个Agent组合

模型更强不保证原Agent更强。工具协议、消息优先级、reasoning状态、缓存、上下文和拒答行为都会改变。建立旧模型加旧harness、新模型加旧harness、旧模型加新harness、新模型加新harness四格对照，分别判断兼容性、适配收益与交互效应。若只有改prompt后变好，应报告组合提升而非全部归功于模型。

建立领域能力矩阵

覆盖结构化输出、并行工具、表格与长文档、中文术语、证据推理、memory、权限、长任务停止和成本延迟。记录上下文和输出上限及不支持特性，adapter遇到unsupported应显式返回，不静默抹去参数。固定同一业务用例、数据和预算，先看严重错误与基本回归，再看新能力机会。

对旧补丁做消融

频繁context reset、冗余自评、固定工具顺序或过短计划，可能是旧模型的必要补救，也可能限制新模型。给补丁记录适用版本、失败依据和删除条件；在相同条件下比较保留与移除，而不是把所有历史指令永久累积。模型接口兼容也不意味着语义行为兼容。

从离线资格走到受控上线

通过完整harness、持出与专家抽审后，才进入shadow和canary。release manifest冻结provider、model snapshot、prompt、工具、workflow、memory策略和验证器；每个run另记动态数据与授权。供应商不提供固定snapshot时，明确复现限制并持续跑sentinel cases。回滚也回滚组合配置，同时处理新版本已经写入的memory和业务状态。

为不可重复部分设计报警

接口允许固定snapshot时记录精确标识，不只存家族名；无法固定时保留每次请求的服务端模型信息和观察日期。为关键工具、中文否定、引用、拒绝和长任务恢复选少量sentinel，按节奏运行并监测突变。报警触发完整回归和抽审，不直接把一次波动当成供应商升级。跨provider迁移尤其要重建消息、工具结果和授权上下文，旧服务的私有状态标识不能假定可直接复用。