Trial快照与可重放实验

一个Trial不仅是一段输出

Trial是某个用例在一组固定条件下的一次尝试。除模型ID，还要记录harness提交、prompt、工具schema、采样与reasoning参数、数据和索引快照、memory初态、权限版本、执行镜像、资源、网络策略和预算。否则相同问题分数变化时，很难判断是模型变好、数据更新、权限变化还是运行环境不同。

恢复声明的初态

每次运行恢复case指定快照，清除其他Trial留下的文件、数据库写入、历史答案和git记录。记忆评测可以预置前序session，缓存评测可以预热，但应明确记录这些状态，分别报告cold和warm条件。隔离的目标是防止无意污染，并非把所有case一律清空为失忆Agent。涉及真实外部系统的测试优先使用快照、模拟或独立测试租户。

把轨迹、产物与判分连起来

保留公开可取得的消息、工具请求与结果、状态转换、产物内容hash、最终业务状态和费用。Grade关联trial_id、grader版本、证据引用、pass/fail/unknown以及人工裁决。无需要求不可获得的私有思维链；可审计性来自行动证据和权威状态。判分器与被测Agent应有不同写权限，避免Agent修掉测试本身。

可重放不等于逐字复现

远程模型可能不提供固定snapshot，即使有seed也未必完全确定；时间、服务负载和工具依赖还会变化。区分“能重建条件并重新测量”和“字节级相同”。端到端失败需保留，另做模型错误与基础设施故障归因。官方基础设施实验显示资源约束会改变Agent基准表现；本页建议是把这些变量纳入实验合同，不能用删掉失败样本来美化产品成功率。

重放不等于再次请求同一句话

一个法律研究任务依赖当时的文档版本、搜索索引、客户权限和工具响应。若重跑时网页已经更新，分数变化可能来自数据而非模型。可将工具响应录制后回放以隔离推理差异，再用实时工具测试环境适应，两者分开命名。录制内容要有脱敏、访问与保留范围；未固定的服务端行为列入复现限制。基础设施失败保留原始事件，再按预先规则重试或单独报告，不能默默丢弃失败样本。