跳到正文
SGSteven Guan

原子概念 / Cost per Verified Outcome

有效结果成本

把系统费用与人工复核返工成本除以通过验收的任务数。

要解决的问题怎样设计有效结果成本,并验证其对任务质量与可靠性的影响?

检索别名:有效任务成本 · TCO

BLUEPRINT局部蓝图

01 输入

  1. Run用量及账单
  2. 验收通过任务数
  3. 人工复核和维护成本
→

02 处理机制

  1. 按互斥类别核算费用
  2. 计入失败和返工
  3. 按质量门槛计算分母
  4. 比较同范围总成本
→

03 输出与证据

  1. 有效结果成本
  2. 人工与严重错误指标
  3. 采用及预算判断

把系统费用与人工复核返工成本除以通过验收的任务数。

每百万token单价只能描述模型计费的一部分,不能代表Agent完成工作的真实成本。有效结果成本应把系统费用和人工复核返工成本合计,再除以通过验收的任务数。失败、重试、judge和子Agent都属于为获得结果付出的成本,不能被排除后展示便宜。

一次Run的费用可分模型普通输入、缓存读、缓存写、输出、工具与搜索、数据许可、计算、存储和网络。按供应商账单互斥分类,避免将cache_write同时计入普通输入;不同模型的usage字段与价格合同可能不同,要通过adapter保留原始分类并对账。

人工时间往往决定商业价值。便宜模型可能多生成错误表格、需要专家补证或返工;高档模型若减少这些工作,整体更经济。反过来,高档模型用于简单分类未必划算。比较应在相同任务范围、质量门槛和外部数据许可下进行,而非拿一个简化demo与完整生产系统比。

成本还包括框架接入、权限与加固、评测、数据迁移、日常运维、升级回归和退出。托管harness减少部分基础设施人力,可能增加供应商状态耦合;整仓fork看似启动快,却要持续承担上游同步和兼容。工时与现金分列,对未知项给范围,不虚构精确人日。

业务指标不能全部压成美元。金融投资结果受市场与风险暴露影响,教育学习增益需后续观察,法律错误可能有长尾后果。费用报告同时显示严重错误、覆盖、人工分钟和用户完成率,而不是用一个总分掩盖高风险失败。

使用代表性负载的trace、账单与人工记录估算,并做预算敏感性分析。若验收标准改变,分母也改变,应保留版本。优化的目标是以可接受风险得到更多有效结果,而不是让单次调用看起来更省。

实践重点:计算模型、缓存、工具、数据许可、沙箱、judge、子Agent和人类分钟。

验证抓手:使用trace与账单对账,并同时报告质量和严重错误。

常见误区:只比较每百万token单价,忽略失败和返工。

OpenAI:Prompt caching;OpenAI:模型目录。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 3

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. OpenAI:Prompt caching ↗官方文档 / 声明

    观察基线:2026-10-15;具体模型、版本和部署能力需分别核验。

  2. OpenAI:模型目录 ↗官方文档 / 声明

    观察基线:2026-10-15;具体模型、版本和部署能力需分别核验。