原子概念
词法检索与BM25
倒排索引、中文分析器、精确字段、词法相关性和BM25统计作用域。
检索别名:BM25 · inverted index · lexical search
01 输入
- 问题中的词项与精确ID
- 文本字段及语言分析配置
02 处理机制
- 按字段分词或精确匹配
- 计算词法候选与排名
- 保留词项命中诊断
03 输出与证据
- 词法候选集合
- 字段与词项匹配证据
精确词不是过时的信号
合同号、错误码、人名、证券代号和罕见专业词,通常比一段宽泛的语义描述更能定位正确材料。词法检索通过倒排索引找到出现这些词的文档,BM25等评分再利用词频、文档长度和词的区分度排序。向量表示未必能保留所有字符级差别,因此不能把词法路线简单删除。
Vespa的混合检索教程明确区分词法召回与embedding召回,并演示不同候选组合。借鉴这一结构时,应给标题、正文、精确ID和别名不同字段,而不是把整份文档及所有元数据拼成一条字符串,再依赖统一分词器处理。
中文与编号需要单独测试
中文分词、英文缩写、连字符、大小写、全半角和版本号会影响词项。建议对关键ID保留未经分词的精确字段,对正文使用适合语言的分析配置;对相同实体的正式名、简称与英文名建立受控别名。自动扩展出的同义词应可回溯和撤回。
BM25分数依赖索引统计,不是答案正确的概率。跨字段、跨资料域、跨shard或跨tenant时,分数分布也可能不同。Qdrant当前多租户文档特别说明稀疏IDF统计默认作用域可能不等于租户过滤范围,提示检索隔离不只有返回内容隔离。
用失败样本决定组合方式
词法基线应包含精确编号、同名实体和近似术语的对抗案例,也包含用户使用自然说法而文档使用正式术语的案例。后者暴露词法局限,适合由dense路线补充,而非无限扩张同义词表。
验收时检查相关证据是否进入候选集、是否被错误分词以及候选是否来自当前授权域。与向量组合时优先比较排名融合;不要直接相加尺度不同的分数,再把某个固定权重称为普遍最佳配置。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 3
- 查询理解与改写 — 供给 → 词法检索与BM25
精确词保留给词法检索
- 混合召回与排名融合 — 依赖 → 词法检索与BM25
词法是混合召回一条路
- Elastic与搜索引擎路线 — 实现 → 词法检索与BM25
搜索引擎承载词法能力
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- Vespa:混合检索教程 ↗官方文档 / 声明
- Qdrant:多租户与IDF统计 ↗官方文档 / 声明