跳到正文
SGSteven Guan

原子概念

向量容量与重建空间

chunk数量、向量本体、ANN/倒排/文本/WAL/副本/快照、量化和双索引临时空间。

要解决的问题索引除了N乘维度还需要哪些容量?

检索别名:capacity planning · vector memory · 量化

BLUEPRINT局部蓝图

01 输入

  1. token、chunk与表示维度
  2. 并发、更新、冷热和保留模型
→

02 处理机制

  1. 估算向量本体与所有附加项
  2. 预留副本、迁移和重建空间
  3. 用真实负载测量并修正
→

03 输出与证据

  1. 容量区间和假设
  2. 常态及故障余量

向量本体只是预算的一部分

粗估chunk数量可用N约等于总token数除以切块长度减overlap,结构切块和短段会使实际值偏离。向量本体约为N乘维度d乘每维字节数b:一百万条1536维float32约6.14GB,采用十进制单位,尚未包含索引、文本和任何副本。

整体存储还包括原件、保留版本、解析JSON与图像、倒排和sparse索引、ANN结构、metadata、WAL、replica、snapshot、trace及重建临时空间。Late-interaction多向量表示还需乘每chunk平均子向量数;“文档数相同”并不意味着容量相同。

压缩比例不能直接套到总账

float16与int8可以减少向量本体,但引擎可能仍保留原向量用于重排或重建。Qdrant量化资料说明压缩向量、原向量与rescore的分工,提示内存节约与磁盘读取延迟是联合取舍。实际索引文件与常驻内存必须测量。

更换embedding或chunking时,新旧generation通常并存;迁移期还要追平增量。若只按常态空间采购,重建或回滚可能恰好在压力最大时失败。备份不应只覆盖向量库,还需原件和权威元数据,否则无法证明恢复出的索引对应哪一版资料。

用负载而非数量阈值规划

维度、过滤选择率、候选k、冷热比例、并发与更新频率共同影响所需资源。均值在途请求可用Little定律L约等于到达率乘平均停留时间估算,但不能据此得到p95或故障余量。突发、慢查询和索引构建需要额外容量。

验收分别测热缓存、冷启动、重建期间、更新并发和单节点故障,报告吞吐下p50/p95/p99、实际内存与存储增长。容量公式是预算起点,厂商某项压缩或QPS结果不是本企业工作负载的保证。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Qdrant:内存、量化与rescore ↗官方文档 / 声明
  2. pgvector:表示与索引 ↗公开代码