专题
发布与运营
把离线证据连接模型升级、真实流量与回滚。
要解决的问题如何把这项机制变成可执行、可核查的工程合同？
01 输入
- 业务目标与约束
02 处理机制
- 明确适用范围
- 选择可执行检查
- 保留结果与证据
03 输出与证据
- 可审阅的设计合同
EXPLORE THIS BRANCH
继续深入 · 5 个方向
01 / 原子概念
模型升级与Harness交互评测 ↗
通过旧新模型与旧新harness对照，判断提升来自模型、适配还是两者交互。
02 / 原子概念模型Router与Failover评测 ↗
把路由看作独立决策系统，检查困难或高风险任务漏判、合格备援和端到端成本。
03 / 原子概念Shadow运行与无副作用比较 ↗
在脱敏真实流量上运行候选，禁止真实写动作，观察分布、检索、质量与性能代理信号。
04 / 原子概念Canary灰度与线上实验 ↗
按用户或租户分组发布小流量候选，控制memory污染、动作资格、预算与提前停止风险。
05 / 原子概念完整AgentRelease与状态回滚 ↗
以完整配置组合晋升和回滚，并单独处理已经写入的memory、业务状态和外部动作。
离线提升只是发布证据的一部分。这里从模型和harness的四格升级实验开始，继续检验路由与故障备援，再进入无真实副作用的shadow和受控真实干预的canary，最终以完整release及回滚合同收束。
每一步都有进入条件、资源预算、严重错误护栏和退出规则。模型、prompt、工具、workflow、memory策略与验证器共同组成发布版本；动态数据和授权另记在run。回退配置不会自动撤销已发生的业务动作或记忆写入，因此需要兼容、补偿和独立恢复验证。供应商无法固定snapshot时，要明确复现限制并持续监测关键用例。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束，代码只证明对应版本，论文与讲座不自动证明生产效果。 资料截止：2026-10-15。
- Anthropic：Demystifying evals for AI agents ↗官方文档 / 声明
2026-01-09；官方方法背景，具体合同与阈值须按业务验证。