主分支
评测、验证与发布
从任务合同到线上结果,建立可重放评测、独立验证与受控发布闭环。
要解决的问题如何把这项机制变成可执行、可核查的工程合同?
01 输入
- 任务合同
- 数据与权限快照
- Agent版本
02 处理机制
- 构建用例与执行trial
- 分层验证并校准评分
- 测量不确定性
- 灰度晋升或回滚
03 输出与证据
- 评测报告
- 验证回执
- 发布资格
EXPLORE THIS BRANCH
继续深入 · 5 个方向
评测衡量一批任务上的表现,验证为一次运行的具体断言提供证据。企业Agent需要同时回答:是否完成业务目标,是否遵守权限和预算,产物能否被独立核查,以及换模型或数据后表现是否仍可信。单一回答评分无法覆盖这些问题。
建议从任务合同、代表性数据和可重放Trial开始,再按终态、工具、轨迹、检索、记忆与安全定位失败。评分层组合确定性验证、语义Judge和专家校准;统计层处理重复可靠性、置信区间与持出污染。最后通过模型升级矩阵、shadow、canary和回滚把证据连接正式发布。
金融、教育与法律应添加各自的时序、学习效果与权威效力标准。通用平台提供一致记录和门禁,领域包定义正确性与风险,任何总分都不能抵消越权或严重事实错误。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 3
- 从只读基线到可靠执行 — 依赖 → 评测、验证与发布
扩展以评测通过为条件。
- 企业 Agent 参考架构 — 依赖 → 评测、验证与发布
完成和发布需要独立验证。
- 分任务SLO与错误预算 — 互补 → 评测、验证与发布
质量门禁与服务SLO共同决定发布。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- Anthropic:Demystifying evals for AI agents ↗官方文档 / 声明
2026-01-09;官方方法背景,具体合同与阈值须按业务验证。