RAG与长上下文分工

按知识更新方式和任务范围选择

RAG适合从大型、持续变化且有权限的数据集中寻找证据；长上下文适合已知范围的完整文档审阅和跨段约束；微调更适合稳定格式、领域表达和工具使用行为。它们不是互斥信仰，也不能因模型窗口变长就停止管理资料资格。

2024年的RAG与Long-Context比较论文研究了混合路由，但当时的模型、价格和任务不能直接外推到当前系统。可借鉴其比较思路：在同一资料、问题和质量标准下测不同路线，再选择满足预算的方案。

常见组合是先缩小，再完整阅读

例如比较三份合同的冲突条款，可以先检索确定文档与章节，再让模型读取必要的完整上下文；金融分析可先定位同一时期报告，再读取财务附注。这样保留全文推理能力，又不必每次向模型发送全公司资料。

长上下文增加输入成本、prefill与干扰；RAG则可能漏掉决定性段落。路线选择必须考虑必需证据能否齐全、上下文位置敏感性、授权、新鲜度和任务deadline。仅比较标称窗口容量或单次调用价格不足以判断总体效能。

微调不替代事实资格

将频繁变化的制度或法律训练进权重，会增加纠错、删除、引用和权限隔离难度。即使模型学会专业语言，现行事实仍宜通过有来源的工具获取。若问题来自错误工具选择或输出格式，才更可能适合通过示例、prompt或训练改善行为。

验收采用同一holdout比较片段RAG、选定全文和混合路线，记录必要证据覆盖、答案正确性、token、延迟及失败原因。若模型只因读到更多无关内容而更自信，应判定退化，而不是把更长回答当作质量提升。