专题

评测对象

分别检验结果、工具、轨迹、检索、记忆与权限。

要解决的问题如何把这项机制变成可执行、可核查的工程合同？

BLUEPRINT局部蓝图

01 输入

→

02 处理机制

→

03 输出与证据

EXPLORE THIS BRANCH

继续深入 · 7 个方向

同一模型在简单工具循环中通过，不代表在真实产品的上下文、权限与界面中通过。

以目标、完整产物、政策条件、禁止副作用和可重放证据共同定义任务成功。

分别验证工具选择、参数语义、权限、分页与外部终态，避免用HTTP成功替代业务成功。

观察重复调用、预算、遗漏、取消传播与压缩后的约束保留，并用消融实验定位瓶颈。

拆开测解析、召回、排序、上下文与回答，标注真正包含答案的证据片段。

以多session脚本检验偏好写入、纠正、恢复、删除和撤权，再比较不同记忆策略的净收益。

在无真实危险副作用的环境中检验注入、越权、审批漂移与信息外传，同时测合法任务表现。

Agent的失败可能发生在不同层：回答语义正确却没交付、工具参数合法却作用于错误对象、检索命中却引用不支持结论、记住事实却跨用户污染。这里按被测对象拆页，防止一个平均分掩盖不同故障。

先阅读四层保真度，理解工具直接测试、自然语言循环、完整harness和产品交付的差别；再分别检查终态、动作、轨迹、RAG、memory和安全。每项结果连接具体证据与根因，并在同一任务合同下汇总。真实生产资格需要覆盖权限、外部状态和用户边界，模拟环境的分数应保留其适用限制。

PRIMARY SOURCES

来源按研究截止日整理。官方文档说明能力和约束，代码只证明对应版本，论文与讲座不自动证明生产效果。资料截止：2026-10-15。

Anthropic：Demystifying evals for AI agents ↗官方文档 / 声明
2026-01-09；官方方法背景，具体合同与阈值须按业务验证。