置信区间、配对比较与稀有风险

一个百分点不是精确真相

有限样本、模型随机性、任务难度与基础设施噪声都会影响分数。100个独立case中90个成功，Wilson 95%区间约82.6%至94.5%；在这个规模上从90%到92%并不自动构成稳定提升。报告点估计、样本数、区间和任务切片，避免只给一位小数的排行榜。

使用配对和合适的实验单位

比较两个版本时尽量使用相同case及相同资源。以任务或用户为cluster进行配对bootstrap，保留同一任务多次trial的相关性；不能把一个用户的十个相近session当十个独立用户。领域风险差异较大时分别给结果，必要时根据目标生产分布加权，并公开权重与分母。

零失败仍有上界

在独立同分布近似下，n次零失败的95%上界约为3/n。要使上界约0.1%，需要约3000次独立观察；零事件不能证明绝对安全。真实攻击、数据与用户行为会变化，因此该估计仅约束被观察分布，不能保证未来所有情形。严重错误还需要压力测试、设计防线与持续监测。

在看结果前写实验规则

事先规定主要指标、最小可接受差异、不能退化切片、成本延迟约束、样本预算和停止条件。反复比较许多prompt再只汇报最佳者，会产生选择偏差；多次偷看小流量并提前停测也会夸大收益。使用预设样本量或合适的顺序方法，并保留所有候选记录。统计判断支持决策，不替代领域损失和上线责任的讨论。

将这些检查固定在版本化测试集中，并同时观察通过项与失败项，才能区分真实能力变化与评分尺度变化。

把业务门槛转成实验设计

先估计基线和最小有意义提升，再据预期方差决定样本预算；不同任务的损失可单列严重事件门槛，而非混成加权平均。对同批任务比较两个版本，可报告一方通过另一方失败的配对数量，辅助理解净变化来自哪里。发现某切片显著退化后，应先分析原因，再设计新的验证，不能反复删样本直到总体分数好看。上线观察与离线实验分别保留分布和版本信息。