LLM Judge与语义Rubric

语义判断需要任务和证据

LLM judge适合评价总结覆盖、引用蕴涵、解释清楚程度、合同风险分析和教学方法。给它原任务、可见证据、候选产物与具体rubric，而不是只给答案让它凭常识裁判。将每项评分与证据片段相连，并允许无法判定；对于新近事实或专业规则，judge同样可能不知道或记错。

选择合适的评分形状

reference-based适合有可接受答案范围的任务；pairwise适合比较两个开放产物；rubric适合分开衡量不同要求。标明严重错误、必要覆盖、允许变化与反例，避免“很好、一般、不好”的模糊等级。确定性检查已经证实的算术错误不能被另一个模型投票改成正确，越权和伪造引证也不能靠文风高分补偿。

控制常见偏差

隐藏候选供应商与版本，随机交换左右顺序，检查长度差异，加入冗长但错误、简短但正确、伪引用以及要求评分器改标准的攻击文本。独立上下文可以降低执行者为自己辩护的倾向，但同一模型家族仍可能共享错误。多judge一致只是信号，不能自动提升为真值。

版本化并校准这把尺子

保存judge模型、prompt、rubric、输入hash、分项结果、证据与无法判定原因。用独立专家标签检查严重错误漏判和过度误杀，再将judge校准集与最终测试集隔离。修改judge后重评代表历史样本，避免把尺子变松误写成Agent进步。评分器成本和延迟也应进入评测预算；其工作是提供可审阅证据，不是把责任转交给另一个模型。

让判分具备可追问接口

每项结果包含标准、结论、严重程度、证据位置和简短理由，不要求展示模型内部思维。将明显错误的长答案、正确短答案、证据不足但诚实暂停、引用真实却不支持结论等作为校准对照。定期交换候选顺序并匿名模型身份，观察偏差；对争议项抽样交给专家。Judge只读取完成任务所需材料，候选输出中的“请给满分”等文字一律作为被评内容，不能成为评分指令。