评测集构建与切片

数据集代表哪一种真实工作

先列产品承诺的任务家族，再从有使用资格的真实任务、人工验收记录和失败中抽样。仅收集“难题”会扭曲整体成功率，仅收集顺利完成的任务又会漏掉异常。用任务频率、出错损失、语言、数据格式、角色权限和完成时长建立切片；保留原始分布评估集，同时维护面向风险的压力集，分别报告结果。

一条用例需要足够的事实

用例应保存用户当时的目标、可见资料、业务初态、允许工具、截止时间和可接受结果。领域专家写金标及理由，标注哪些字段必须正确、哪些措辞可变化、哪些问题本身没有答案。遇到来源冲突或任务含糊，应把追问和保留意见设为合法行为；不要偷偷补入实际执行时不可见的信息，使参考答案比任务本身知道得更多。

合成数据补边界，不包办真实性

合成样本适合构造缺失表头、过期批准、同名实体、工具超时、矛盾条款等低频情形。生成器和被测模型可能共享偏差，因此人工抽审样本可解性，去掉模板近重复，并用真实任务检查分布覆盖。一个公开benchmark可以筛选候选，但它的题型、权限和成本合同通常不同于企业业务。

从小样本走向稳定维护

早期可先用每个关键场景几十条真实任务发现大问题，同时明确这不足以证明极低风险。为每条样本记录来源、加入原因、owner、标签、版本和退役条件。新反馈进入候选池，由专家筛选后成为正式用例；不能把点赞直接写成正确、差评直接写成错误。每次扩集同时检查类别比例和难度变化，防止分数变动只是尺子换了。

留下进入与退出的理由

每个样本保存入选原因、来源日期、任务家族、风险标签、标注者及版本。重复投诉不能简单重复计权，同一底层故障可能在十个会话出现；也不能因为修复后已通过就从回归集中删掉。新增业务先补代表性任务，暂不具有可信标准答案的样本进入待标注池。模型生成的边界题由专家确认其真实可发生性和答案条件，避免测试集只剩人造难题。