跳到正文
SGSteven Guan

原子概念

Task/Run观测与成本归因

把检索、模型、工具、验证串成可定位的执行证据。

要解决的问题失败发生在哪层,为什么花了这些时间和钱?

检索别名:Tracing · OpenTelemetry · 可观测性

BLUEPRINT局部蓝图

01 输入

  1. Task/Run事件
  2. 调用与费用
→

02 处理机制

  1. 关联span和版本
  2. 脱敏并归因
  3. 按任务slice聚合
→

03 输出与证据

  1. 故障定位
  2. 延迟与成本看板

根与跨度

trace以Task/Run为根,子span覆盖context、retrieval、rerank、model、tool、verification和memory。记录开始结束、状态、父子关系、版本、token、费用与受限证据引用。并发span相加不等于端到端延迟;需区分关键路径、排队与实际服务时间。

OpenTelemetry GenAI语义约定在独立仓库演进,实施时固定规范与instrumentation版本。业务事件和供应商属性通过适配转换,不能将某个trace平台的私有schema变成唯一事实。任务事件保留事实,摘要只是便于阅读的视图。

可回答的问题

按任务家族和版本看成功、严重失败、p50/p95、人工分钟和有效结果成本;区分供应商限流、索引陈旧、工具错误与模型推理失误。关联发布版本和动态数据快照,避免把某次知识更新造成的变化误归因给模型。

隐私与证据

无需收集模型隐藏推理链来证明可靠性。保留工具请求、证据、可见决策、回执与产物足以支持多数审计;敏感正文以受控引用存储,调试访问有记录。观测本身可能成为跨租户泄漏通道。

验证

注入一次检索超时、一次工具未知效果和一次validator失败,确认看板能分层归因;对账真实供应商用量与内部账本,覆盖失败重试和后台任务。trace完整不证明业务正确,仍要检查结果后置条件。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 2

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. OpenTelemetry:GenAI semantic conventions ↗公开代码