pass@k与pass^k

至少成功一次和始终成功

pass@k表示同一任务在k次尝试中至少有一次成功；pass^k表示k次尝试全部成功。前者适合能生成多个候选并可靠选出正确结果的产品，后者更接近反复面对相似用户需求时的稳定性。Sierra的τ-bench研究采用状态终态和重复成功来观察这类可靠性，但其模拟环境成绩不能直接换算为企业生产成功率。

公式的前提必须一起给出

若同一任务每次独立且成功概率p不变，则pass@k=1−(1−p)^k，pass^k=p^k。p为0.8、k为5时，两者分别为99.968%和32.768%。这不是矛盾，而是回答不同问题。真实任务难度不同，失败还可能相关，应逐case进行多次trial再聚合，不能将全部任务平均成功率直接代入公式。

候选选择器决定实际价值

即使五次尝试中有一次正确，系统若无法识别它，用户仍可能拿到错误结果。应把生成、验证、选择和交付整条链纳入评测，统计选择器误判以及额外时间和费用。对于有副作用的操作，也不能为了提高pass@k重复执行五次发送或下单；需要隔离候选与真正提交。

报告可比的尝试预算

同时给pass@1、k值、每case trial数、采样设置、时间和工具预算、验证方式与置信区间。重试已经包含在一次trial内部时，不能又把每个内部步骤当成独立尝试。比较模型应统一预算或展示质量成本曲线，避免通过增加尝试次数制造能力领先。对要求一致可靠的场景，不以接近百分之百的pass@k掩盖较低单次成功率。

区分理论概率与实测估计

公式需要独立同概率假设，实际报告应以逐任务试验为依据，并说明如何从有限样本估计。某任务可能一直失败，另一任务几乎总成功；把二者平均后套幂次会高估或低估稳定性。用户可接受重试时，也应计算端到端预算内完成率，而不是无限尝试上限。必须提交一次真实动作的场景，先在隔离环境生成候选，再由可靠规则选择，最终提交的成功率单独统计。