跳到正文
SGSteven Guan

原子概念

向量表示与Embedding选择

向量空间、query/document指令、维度归一化、候选模型档位和业务gold set。

要解决的问题怎样选适合中英混写与企业术语的向量模型?

检索别名:embedding · dense retrieval · 向量模型

BLUEPRINT局部蓝图

01 输入

  1. 统一切块后的文档
  2. 带术语和语言分层的gold queries
→

02 处理机制

  1. 冻结表示与预处理合同
  2. 比较质量、吞吐、延迟和许可
  3. 选择候选并独立版本化
→

03 输出与证据

  1. 文档和query向量
  2. 可回滚的embedding revision

选择的是一份表示合同

Embedding把query和文档映射到可比较的向量空间,适合发现措辞不同但含义接近的材料。它不能自动理解全部企业缩写,也不保证精确区分两个合同编号。模型选择应围绕实际资料与问题,而不是只比较一个综合榜单或向量维度大小。

BGE-M3公开模型卡描述dense、sparse与multi-vector能力;Qwen3 Embedding系列提供不同大小档位。它们是可评估候选,不是对金融、法律或教育资料精度的证明。开放权重模型也可以运行在托管云推理服务上,无需先把企业系统全部私有化。

所有预处理都影响向量空间

保存模型revision、维度、query/document指令、归一化、距离函数、tokenizer、截断和量化策略。输入标题、章节路径还是正文,是否去掉表格,以及长文本如何裁剪,都会改变表示。相同维度的不同模型向量不能直接混合比较。

建议至少比较一个托管服务、一个较小开放权重模型和一个较大候选。用相同文档、切块、授权条件和query评估中文术语、英文缩写、中英混写、跨语言、编号及表格。质量之外记录query延迟、批量吞吐、资源、许可与固定版本能力。

保留独立的词法路线

向量分数受模型与数据分布影响,不是校准后的事实置信度。提高top-k可能增加召回,也可能让大量重复或泛相关内容挤占上下文。若正确资料根本没被解析或索引,升级embedding无法修复这一缺口。

验收应先看相关证据召回,再看重排与最终答案。为确切ID和时间约束保留结构字段;更换模型时先双索引影子评估,再切换查询向量和文档索引,不应在线混用两代空间。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 3

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. BGE-M3模型卡 ↗官方文档 / 声明
  2. Qwen3 Embedding技术报告 ↗论文