Canary灰度与线上实验

小流量不等于随意试验

Canary将候选版本交给少量真实用户或租户，用受限动作和预算观察实际完成、修订和错误。先有离线合同、完整harness评测和shadow依据，再确定分流比例、观察周期、严重错误停机条件以及可回滚范围。风险高的任务可以先只允许准备草稿，不立即开放外部副作用。

选择稳定的实验单位

按用户、租户或适当业务单元分组，避免同一用户在两版本间反复切换导致memory和行为污染。不同实验组的工具、知识和权限资格应可比；若只给候选简单任务，不能宣称整体提升。对教育按班级或教师聚类，对长期业务任务保留版本归属，不以单条消息随机分流破坏任务连续性。

同时观察质量和代价

监控验收成功、严重错误、人工介入、修订时间、取消、失败恢复、每成功任务费用与P95。预设主要指标与样本预算；反复偷看后在最有利时停止会夸大收益。少量零错误不足以证明稀有风险受控，必要时增加压力测试和更长观察。自动报警要能够追溯到具体trace与产物。

扩量和回退都是受控动作

通过约定门槛后逐步扩量，每一步保留control与可恢复配置。触发回退时先阻止新任务进入候选，明确运行中的任务继续、取消还是迁移。代码回滚不自动撤销新memory、数据库写入或已经送出的消息；这些必须有来源标记、幂等回执与补偿流程。用户感知到的是业务结果，不能只用服务部署成功作为实验完成证明。

将这些检查固定在版本化测试集中，并同时观察通过项与失败项，才能区分真实能力变化与评分尺度变化。

避免同一用户跨版本互相影响

按合适单位稳定分流，而非每条消息随机换模型；教育和长期记忆任务可能需要按学生或团队分配。新增版本写出的记忆应带版本和可撤销来源，实验结束后处理污染与迁移。主要业务指标需要足够观察期，护栏可在严重事件时立即停止，两者是不同停止逻辑。扩量前核权限、依赖容量和回退可用性，并记录为什么继续或终止，避免只因早期几次成功就宣布完成。