原子概念
向量容量与重建空间
chunk数量、向量本体、ANN/倒排/文本/WAL/副本/快照、量化和双索引临时空间。
检索别名:capacity planning · vector memory · 量化
01 输入
- token、chunk与表示维度
- 并发、更新、冷热和保留模型
02 处理机制
- 估算向量本体与所有附加项
- 预留副本、迁移和重建空间
- 用真实负载测量并修正
03 输出与证据
- 容量区间和假设
- 常态及故障余量
向量本体只是预算的一部分
粗估chunk数量可用N约等于总token数除以切块长度减overlap,结构切块和短段会使实际值偏离。向量本体约为N乘维度d乘每维字节数b:一百万条1536维float32约6.14GB,采用十进制单位,尚未包含索引、文本和任何副本。
整体存储还包括原件、保留版本、解析JSON与图像、倒排和sparse索引、ANN结构、metadata、WAL、replica、snapshot、trace及重建临时空间。Late-interaction多向量表示还需乘每chunk平均子向量数;“文档数相同”并不意味着容量相同。
压缩比例不能直接套到总账
float16与int8可以减少向量本体,但引擎可能仍保留原向量用于重排或重建。Qdrant量化资料说明压缩向量、原向量与rescore的分工,提示内存节约与磁盘读取延迟是联合取舍。实际索引文件与常驻内存必须测量。
更换embedding或chunking时,新旧generation通常并存;迁移期还要追平增量。若只按常态空间采购,重建或回滚可能恰好在压力最大时失败。备份不应只覆盖向量库,还需原件和权威元数据,否则无法证明恢复出的索引对应哪一版资料。
用负载而非数量阈值规划
维度、过滤选择率、候选k、冷热比例、并发与更新频率共同影响所需资源。均值在途请求可用Little定律L约等于到达率乘平均停留时间估算,但不能据此得到p95或故障余量。突发、慢查询和索引构建需要额外容量。
验收分别测热缓存、冷启动、重建期间、更新并发和单节点故障,报告吞吐下p50/p95/p99、实际内存与存储增长。容量公式是预算起点,厂商某项压缩或QPS结果不是本企业工作负载的保证。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 1
- Milvus与分布式向量系统 — 依赖 → 向量容量与重建空间
由维度/并发/更新/冷热模型驱动
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- Qdrant:内存、量化与rescore ↗官方文档 / 声明
- pgvector:表示与索引 ↗公开代码