候选重排与交叉编码器

把昂贵判断留给小候选集

召回阶段要在大资料集中快速找候选，重排阶段则针对当前query与有限候选进行更细的相关性判断。Cross-encoder可联合读取问题和段落，识别泛相关但不回答问题的材料。不过正确证据若没有进入候选，reranker无法凭空找回。

Vespa的first、second和global phase展示了逐步缩小集合再投入更昂贵计算的模式。Cohere当前Rerank文档也提供不同模型档位。选择时应区分模型服务能力、官方自报效果与自己在企业资料上的测量结果。

候选长度和数目同样重要

重排输入应包含原问题、必要标题与候选正文。候选过短可能失去定义，过长则增加成本并引入噪声；模型或API的长度限制也可能截断关键脚注。建议记录实际送入的文本与截断位置，而非只保存一个最终相关性分数。

可从候选20、50、100等实验点比较，不把它们视为最佳配置。对长文档、表格、中英混写和多部分问题分别评估。大量近重复段会消耗重排预算，因此去重与候选多样性应在这一阶段之前处理。

降级要保留证据边界

重排服务限流或超时时，可以在事先验证的范围内退回融合排名，同时降低证据覆盖承诺；不能为了节省时间跳过授权或用上一用户的排序结果。任务deadline应限制重排的总预算，避免一个慢服务拖垮所有并行检索收益。

验收看最终证据排序与必需证据覆盖，并测负载下p50、p95和错误率。若重排把正确资料挤掉，先查看query、候选和截断，再考虑换模型。没有这些输入记录，最终答案评分无法解释重排究竟改善了什么。