统计与泛化

本分支处理分数应如何解释，而不是替业务定义成功。先区分至少一次成功的pass@k与全部成功的pass^k，再看有限样本和相关试验下的不确定性，最后检查数据是否支持真正未见任务上的泛化声明。

同一任务多次尝试、同一学生多个会话和同一报告的改写通常有关联，不能当成完全独立样本。报告分母、实验单位、预算、置信区间、严重错误和切片；隐藏持出集防止反复优化的选择偏差。金融任务还要识别模型参数知道未来的泄漏。统计证据描述观察到的分布，不能证明所有未来情境均安全。