持出集、时序划分与污染控制

不同数据集承担不同职责

dev用于改prompt、工具和skill；validation用于选版本；锁定test提供最终泛化证据；fresh audit持续加入从未暴露的新任务。公开回归集可以帮助稳定承诺，但优化器反复看过它之后，就不能继续当成未见测试。记录每个case向哪些人、模型或优化流程暴露过。

按真实关联关系划分

同一报告的相邻段落、同一合同的红线与原版、同一学生的近似session和相同题型模板，不能轻率地随机分到两边。按文档、公司、客户matter、用户、组织或题型家族group split，再按时间保留新样本。合成改写也可能仍是近重复；去重不能只比较字符串hash。

清理污染，但保留case初态

每个trial恢复声明快照，清除其他trial残留的答案、文件、数据库修改、memory和git历史。长期记忆与warm-cache测试保留明确预置的状态，并单独报告。被测Agent不能读隐藏答案或改grader。共享基础设施资源还可能产生相关失败，应作为实验条件记录，而不是一律删除失败行。

时间截止也约束不了全部参数知识

金融历史任务即使只提供某个决策日之前的资料，较晚训练的基础模型也可能知道随后结果。资料as_of不是完全消除未来泄漏的证明。历史评测更适合检验取证、计算与约束遵从；投资预测收益优先用冻结候选之后的前瞻任务衡量。法律和教育同样要防新版本答案、题库和专家反馈进入测试链，避免“自我改进”其实是背住了验收样本。

看不到答案仍可能知道未来

历史投资案例即使工具只返回当时资料，基座权重仍可能记得之后的财报或股价。可使用真正前瞻窗口、训练截止后新事件或精心设计的替代任务，但都应声明适用限制。对法律与教育，按案件或题型家族分组，防止只换名字和数字就落到另一集合。优化人员不能读取隐藏答案；将测试错误全文直接喂回修复器，会把test变成开发集，需要另建独立审计。