跳到正文
SGSteven Guan

原子概念

Embedding版本与双索引迁移

模型revision/维度/归一化/截断版本、双索引回填、shadow对照、alias与回滚。

要解决的问题如何升级向量模型而不混合两个不兼容的向量空间?

检索别名:re-embedding · dual index · embedding migration

BLUEPRINT局部蓝图

01 输入

  1. 旧表示合同与索引
  2. 新模型revision及同版原件
→

02 处理机制

  1. 后台双索引回填并追平增量
  2. 影子比较召回与端到端结果
  3. 成对切换query模型和索引alias
→

03 输出与证据

  1. 可回滚的新检索generation
  2. 完整性与兼容性回执

同维度不代表同空间

更换embedding模型、query指令、归一化或截断方式,都可能改变相似性几何结构。即使新旧向量长度相同,也不能把新query直接用于旧文档向量,再认为分数仍可比较。模型ID应与完整表示合同组成独立revision。

Qwen3等模型报告给出特定模型和表示方法,pgvector则按维度及距离运算建立索引。两类资料共同说明:生成向量的合同与检索它的合同必须匹配。本文建议双索引迁移,是为控制这层兼容风险,并非某个框架自动保证的能力。

新索引先影子运行

保留旧索引服务,后台按相同原件版本构建新generation;记录已回填对象、缺块、失败和最新增量。新query同时走新模型和新索引,旧query仍走旧组合。不能只把旧数据批量迁完,却漏掉迁移期间的新文档和删除事件。

影子查询不影响用户结果,比较各类query的证据召回、过滤表现、rerank和最终答案。原始cosine分数跨模型通常不可直接对比,应使用排名、人工相关性和业务成功等共同指标。改了chunking时再增加一条轴,避免把多个变化的收益混在一起。

切换与回滚要成对

达到阈值后原子切换表示revision与索引alias,保留旧版回滚窗口。缓存键要包含revision和index generation;回滚不能恢复已经撤回的权限或已删除资料。容量规划需计入新旧索引并存、构建临时空间和增量追平。

验收覆盖迁移中断、部分回填、模型服务超时、删除和权限变化。发布回执应列出完整性、质量及延迟结果,而非仅报告向量总数相等。模型、维度、距离函数和实际活动索引不匹配时应拒绝查询,避免产生看似正常的错误结果。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 4

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Qwen3 Embedding技术报告 ↗论文
  2. pgvector:向量类型与索引 ↗公开代码