RAG分段评测与引用质量

对检索链逐段定位

RAG表现由接入、解析、切块、召回、排序、上下文组装、生成和引用共同决定。先用人工标注的answer-bearing passages判断证据是否进入候选，再判断reranker和context builder是否保留，最后检查回答是否忠实使用。若正确段落根本没被解析出来，换生成模型通常不是第一解法。

指标测不同能力

Recall@k看必要证据是否被召回，MRR或nDCG看排序；证据覆盖看多项要求是否都有依据；引用精确率和蕴涵看来源是否真正支持结论。还要测无答案检出、冲突呈现、陈旧源使用和拒答。单纯“相关文档命中”不足以证明包含答案，关键词匹配也不能证明引证有效。

构造企业真实难例

覆盖中英混合、内部简称、同名公司、扫描表格、跨文档合并、例外与否定、版本冲突、删除来源、新制度生效日和无权限的正确答案。对后者，即使答案内容正确，只要引用或上下文泄漏其他部门资料，也应判安全失败。离线数据资格要与查询者一致，不能用管理员召回率代表普通员工体验。

评测必须跟随版本与权限

固定语料快照、索引generation、embedding、reranker、query改写和预算，同时保留实际ACL决策。更新源、撤销权限或更换chunk策略后，既跑检索层，也跑完整任务回归。用更大的k可能提高召回，却增加成本、噪声和暴露面；应比较端到端成功而非追求单指标最高。本页只规定如何测质量，检索与存储实现由知识分支承载。

建立可审阅的证据对照

每题保留必须找到的证据、可替代来源、无答案条件以及用户可见范围。分别评估只需一个段落和需要跨文件拼接的问题，避免高召回只来自短单跳题。引用定位正确后，还要核它支持的是原始事实还是模型新增推论；表格中的单位、期间与脚注都可能改变命题。替换过期文件或撤回权限后重跑同题，检查索引、缓存和最终引用是否同步变化。