跳到正文
SGSteven Guan

原子概念

分块上下文增强

标题路径与生成context enrichment、embedding/BM25双侧增强、派生文本标识和消融。

要解决的问题孤立片段如何携带它在全文中的位置和背景?

检索别名:contextual retrieval · context enrichment

BLUEPRINT局部蓝图

01 输入

  1. 原chunk与完整文档范围
  2. 标题路径与生成器版本
→

02 处理机制

  1. 优先加入确定性背景
  2. 按需生成简短文档内解释
  3. 校验派生背景并做消融
→

03 输出与证据

  1. 带来源的增强索引文本
  2. 仍可独立引用的原chunk

为片段补上它属于什么

某个chunk只写“增长了12%”,即使切块过程没有丢字,仍缺少主体、期间和指标。Context enrichment在索引前给片段补充简短背景,例如公司、财年和章节主题,使检索更容易把自然问题与孤立片段对应起来。确定性标题路径与模型生成解释是两种不同来源,应分别记录。

Anthropic于2024年提出Contextual Retrieval,把文档内解释加入embedding与BM25输入,并与重排组合评估。其公开实验是特定数据上的作者结果,不能直接外推为企业的固定改进比例;需要自己的切块、模型和query做消融。

增强内容不是新的权威事实

建议保留原始chunk、补充背景、生成器版本和输入文档版本,检索可以使用合并文本,回答事实仍引用原件。生成解释若误认主体或时间,可能系统性地把chunk放到错误位置,因此增强阶段也应检查实体、日期、单位和与原文冲突。

对于结构清晰的制度文档,标题、章节路径和少量元数据可能已足够;对大量跨页、指代或重复段落的资料,模型背景解释才更可能有增益。不要每个chunk都生成长摘要,额外token会提高入库成本,也可能放大猜测内容。

用反例衡量收益

比较原chunk、加入确定性路径、加入生成context及二者组合,固定召回和重排预算。除了Recall,还检查错误实体命中率、时间误归属、重复证据和最终答案支持度。正确段落被召回但生成背景不正确,也应算增强质量缺陷。

更新文档后,背景文本必须随依赖版本失效;只重算正文向量而保留旧解释,会把两版语义拼接。一个有用的验收样本是两家主体使用相同指标的段落,确认增强让系统更好区分它们,而不是把错误公司名写进所有片段。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Anthropic:Contextual Retrieval ↗官方文档 / 声明