跳到正文
SGSteven Guan

原子概念 / Task Outcome

任务完成与业务结果评测

以目标、完整产物、政策条件、禁止副作用和可重放证据共同定义任务成功。

要解决的问题怎样区分回答好看、任务完成和用户真正获得结果?

检索别名:任务成功率 · 业务终态 · 交付验证

BLUEPRINT局部蓝图

01 输入

  1. 终态和交付合同
  2. 产物与外部状态
  3. 用户可见交付证据
→

02 处理机制

  1. 验证目标真实完成
  2. 检查副作用与超时
  3. 语义评分保留unknown
  4. 核修订成本及交付
→

03 输出与证据

  1. 任务成功及严重错误
  2. 业务价值和审阅负担

结果是业务状态和可用产物

任务成功不只指Agent说“完成”。对于研究,要有可访问的报告、来源和未决项;对于内部更新,要在权威系统读到新状态;对于通知,要区分生成、提交、送达与用户可见。先确定验收边界,再决定哪些证据足够。HTTP成功、文件存在或文本流畅都只是局部信号。

成功条件采用组合判定

建议将业务目标、必需产物、权限与政策、禁止副作用和证据可重放设为独立维度。高风险硬条件全部满足后,再判断开放内容的覆盖与质量。保留成功、部分完成、等待输入、主动拒绝、超时和失败等原因,分别报告其占比。一个请求因缺少必要证据而正确暂停,可以是安全行为,但不能虚报业务目标已经完成。

让评价接近实际使用

产物检查除schema外,还要确认内容非空、关键数字可复算、引用可访问、下载可打开、适用时点正确。由专业用户抽样判断是否可以用于下一步,并记录审阅、修订、返工和升级所耗时间。满意度与正确性分开:用户不喜欢一个税务或投资结论,并不证明它错误;点赞也可能来自自信文风。

防止总分掩盖严重缺陷

同时报告任务成功率、严重错误率、未完成率、人工介入率、每成功任务成本和尾延迟。按风险、任务家族和角色切片,不让高频简单问答冲淡低频重大错误。固定验收合同版本,变更后保留新旧口径对照。该体系是业务设计建议,具体阈值要由领域owner和样本不确定性决定,不能把一个通用百分比当作所有Agent的上线标准。

记录分母和结束原因

将完成、部分完成、正确暂停、用户取消、超时、工具故障和严重失败分别计数,声明哪些进入主要成功率分母。需要人工补齐才能用的产物,不能与无需修改的交付合并成同一个成功桶。若系统承诺先准备草稿,正确待审批可以是成功终态;若承诺已送达,则必须检查收件侧证据。合同变化会改变成功定义,历史成绩应保留原版本。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Anthropic:Demystifying evals for AI agents ↗官方文档 / 声明

    2026-01-09;官方方法背景,具体合同与阈值须按业务验证。