评测任务合同与成功条件

先规定什么叫成功

企业任务的评测应从业务合同开始，而非从一个通用分数开始。合同要写清目标、输入、授权主体、知识截止时间、允许动作、必需产物和禁止结果。例如财报比较不能只要求“生成一份报告”，还应要求每个指标有期间、单位、来源和可复算公式。允许答案有多种表达，关键约束必须保持一致。若两位领域专家对同一结果是否通过持续分歧，先修合同，不宜直接增加模型judge。

把合同落成可执行对象

一个EvalCase保存任务指令、初始业务状态、对话前缀、数据快照、权限、期望终态、允许变化、禁止副作用、grader版本和切片标签。把目标拆成结果检查、动作检查和轨迹检查：结果看交付是否可用，动作看授权与外部效果，轨迹只检查必要顺序及成本。不要要求Agent复刻唯一参考路线，否则更短、更安全的合法路径也可能被判错。

硬门槛与语义质量分开

关键金额错误、越权读取、伪造引证、未授权发送应设硬门槛，不能被清晰文风抵消。覆盖程度、解释质量、论证完整性可以用分项rubric。保留证据不足、无法判定、任务未完成和评测器故障，不能全部折算为同一失败，更不能把unknown当作通过。每项判分应指出具体证据，而不是仅给一个总分。

同时维护能力集和回归集

能力集包含目前尚难完成的任务，用于发现模型或harness进步带来的新机会；回归集保护已经承诺的行为。能力成熟后可晋升为回归项，但最终选型还需未反复暴露的持出集。本页给出的是工程合同建议；官方评测文章提供方法背景，不代表任意领域可沿用同一阈值。

用例合同示例

以更新投研报告为例，允许读取已授权公告并改写草稿，成功条件是交付指定文件、结论与证据一致且数字可复算；不允许自动发送给客户。公告缺页时，应列缺口并暂停相关结论，而不是用常识补数。合同还要说明可接受的报告结构、必须覆盖的反证、截至时点与验收主体。这样才能接受多种正确写法，同时拦住越权完成。