专家标注与Judge校准

先让专家共享判断标准

领域专家承担任务定义、金标、严重错误和争议裁决。先抽取正确、轻微错误、重大错误、合理拒绝和证据不足的样本，由至少两位具备领域知识的评审独立标注。发生分歧时讨论标准和证据，不宜简单多数票后丢掉原因；可能是rubric含糊，也可能是任务缺信息。

分开校准和检验

将人工样本分为judge校准集与独立judge test集。前者用于改prompt和阈值，后者用于判断这把尺子是否可靠，不能反复向优化器泄露答案。对不断变化的法律、财务或课程标准，标签保留适用日期、资料版本与评审资格；历史标签不自动代表今天仍正确。

看具体错误，不只看总体一致率

用confusion matrix检查误判与漏判，尤其关注高损失错误被判通过的情况。类别不均衡时，一个总是判通过的judge也可能有很高一致率。分别报告严重错误召回、正常任务误杀、unknown以及评审间分歧；开放文本可补pairwise一致性。相关系数高不等于在上线门槛附近判断准确。

将人工投入放在最有信息的位置

优先复核judge分歧、新任务家族、边界分数、异常高分和高风险产物，同时随机抽样普通通过项，避免只见到报警。用户反馈先作为候选线索：差评可能是不满意正确结论，点赞可能来自流畅表达。每次变更grader或产品合同都重新校准代表集。专家分钟数是系统成本的一部分，应与任务成功和错误损失一起度量，而不是假设所有人工都能被自动评分消除。

优先检查高代价错漏判

假设Judge把正确草稿错判为不合格，会增加人工工作；把带伪造法律引证的草稿判合格，可能造成更高损失。二者分别统计并按领域设置门槛，不能只报总体一致率。专家也可能有分歧，保留原标签、理由和裁决规则，而非自动把多数票当真值。校准后冻结配置，在未参与调整的样本上评估；需要升级rubric时建立新版本，避免历史成绩悄悄改变含义。