跳到正文
SGSteven Guan

原子概念

分任务SLO与错误预算

分别管理服务可用、知识新鲜、权限撤销和结果质量。

要解决的问题一个“99.9%可用”的Agent是否足够可靠?

检索别名:SLA · p95 · Error budget

BLUEPRINT局部蓝图

01 输入

  1. 任务分层
  2. 历史失败与延迟
→

02 处理机制

  1. 设定独立SLO
  2. 监测错误预算
  3. 触发降级与修复
→

03 输出与证据

  1. 运营行动
  2. 风险与质量报告

指标不是一个数字

可用性度量能否接受和处理请求,质量度量能否完成业务任务。知识新鲜度、撤权传播、恢复时间、交付时限和正确性各有目标。长研究任务与短问答不共用延迟阈值;按任务slice和风险定义SLO。

严重越权、重复不可逆操作和伪造关键引证通常是发布硬门禁,不能被其他任务的高平均分抵消。统计上零次观察也不等于零风险;报告样本量、试验条件和置信边界。对外SLA还需区分供应商依赖和企业自身可控部分。

错误预算怎样驱动行动

预算消耗过快时暂停扩张,优先修故障和回归,必要时切换只读降级、排队或人工复核。降级不能悄悄把强证据模式变成无来源回答。供应商故障的回退模型也需满足能力和数据资格,不能仅因可调用就投入高风险任务。

验证与演练

以限流、搜索索引更新失败、worker重启、授权服务迟延和验证器不可用进行演练。检查超时传播、用户状态反馈、是否保留已完成工作与回滚路径。质量门禁和服务错误预算相关但不可互相抵销;分别出报告,定位真正的控制措施。

口径与责任

每个指标明确分母、观察窗口、采样缺失与责任人。用户主动取消、系统超时和未知外部效果分别计数;不要从成功率分母中删除困难任务。告警应指向可执行的恢复手册,并记录何时解除降级。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Anthropic:Demystifying evals for AI agents ↗官方文档 / 声明
  2. OpenTelemetry:GenAI semantic conventions ↗公开代码