端到端延迟关键路径

用排队、模型、检索、工具和验证组成的关键路径解释完成时间。

Agent延迟需要分三种体验：用户提交到首个可见token、第一条有用且可核验信息到达，以及任务通过验收并获得产物。流式输出可以改善感知，却不一定缩短业务完成时间。一个很快开始说话、随后持续空泛解释的Agent，未必比稍晚返回正确证据更有用。

总耗时由关键路径组成：排队、身份与context、检索和重排、每轮模型prefill与decode、工具、合并及验证。串行轮次累加，真正独立的并行分支取最长分支，再加调度与合并开销。组件p95不能直接相加得到端到端p95，因为负载相关性与尾部事件分布不同。

先通过trace定位时间花在哪里，再做优化。重复搜索、过长工具输出、无意义自评和多余模型往返通常值得优先处理；然后比较模型档位、输出长度、缓存与预热。不要先把数据库换掉，却没有证据表明检索是瓶颈。强行并行有依赖的操作也可能降低正确性。

不同任务制定不同SLO。交互知识问答重视首次有用响应，异步多源研究重视可验证进度与最终完成，写操作重视后置状态确认。指标应按租户、任务类型、冷暖缓存、数据规模和供应商分层，而非用全站平均值掩盖困难场景。

公开厂商工程文章中的提速数字反映其系统和负载，不能直接成为企业SLA。试验用同一任务、模型配置、数据与验收比较方案，并保留失败和重试，不只挑成功的最快运行。

优化还要看质量成本：省掉verifier可能更快，却提高严重错误；缩短输出可能降低阅读负担，也可能遗漏证据。报告延迟时同时报告任务成功、人工修订和费用，才能判断改进是否真实。

实践重点：区分首token、首条有用证据和验收完成；并行取最长分支。

验证抓手：在代表负载下测端到端p50/p95/p99和各阶段trace。

常见误区：把各组件p95相加，或把流式输出当业务提速。

OpenAI：Latency optimization；Anthropic：Managed Agents工程设计。