跳到正文
SGSteven Guan

原子概念 / Reasoning and Action Budget

推理与行动预算

限制推理强度、输出、工具轮次、时间和费用。

要解决的问题怎样设计推理与行动预算,并验证其对任务质量与可靠性的影响?

检索别名:推理预算 · Token预算

BLUEPRINT局部蓝图

01 输入

  1. 任务风险与价值
  2. 模型及工具成本
  3. 总deadline和费用上限
→

02 处理机制

  1. 分配调用与任务预算
  2. 传播剩余额度
  3. 限次升级或改策略
  4. 到限保留部分成果
→

03 输出与证据

  1. 预算策略
  2. 实际用量账本
  3. 质量成本曲线

限制推理强度、输出、工具轮次、时间和费用。

推理预算不只是一个reasoning effort参数。完整Agent还消耗输出token、工具轮次、搜索、重排、子Agent、judge、沙箱和人工复核时间。预算需要从业务目标出发,决定哪些问题值得继续投入,哪些达到上限后应返回缺口。

可分别限制一次模型调用和整个Task。前者包含最大输出、推理强度和超时;后者包含总费用、总deadline、工具动作和子任务数量。剩余预算向下传播,使一个组件不会在外层即将超时后仍按默认上限重试。人工等待与活跃计算可使用不同时间口径,但需要明确。

高风险任务不能简单以低成本为目标。可先用确定性计算替代可程序化算术,减少无效搜索与重复自评,再比较模型档位。增加推理强度可能改善困难理解,也可能增加延迟而不修复来源错误;缺少报表、法条或授权,更多推理不会创造事实。

预算策略应允许有限升级。例如标准模型在无进展时可以换获准高档模型,但要保留数据合同和剩余费用;达到上限后保存已完成产物、验证项及未决问题,而非强行输出确定结论。模型显示的token使用量与实际账单分类还要核对,缓存写入和后台工作不能遗漏。

实验绘制质量、严重错误、完成时间和有效结果成本随预算的变化,而不是只比较一次最快或最便宜运行。不同任务类型可能有不同折中;教学对话重视交互响应,异步研究可接受更长计算,但都需要真实验收。

公开模型目录提供可调设置与价格入口,不能证明最佳预算。产品可以把预算表达为标准、深入或限定时长等可理解选择,内部再映射参数;不要让业务用户为每个底层推理开关承担实现决策。

实践重点:按任务风险配置预算,并把剩余预算传给模型与工具执行器。

验证抓手:测不同预算下质量、严重错误和完成成本曲线。

常见误区:只调reasoning effort,忽略工具、judge和子Agent成本。

OpenAI:模型目录;OpenAI:Latency optimization。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. OpenAI:模型目录 ↗官方文档 / 声明

    观察基线:2026-10-15;具体模型、版本和部署能力需分别核验。

  2. OpenAI:Latency optimization ↗官方文档 / 声明

    观察基线:2026-10-15;具体模型、版本和部署能力需分别核验。