这篇要讲一个「反直觉」的检索系统问题。我们年初给客户做一个内部支持知识库,初始方案非常标准:Query → Embedding → 向量检索 → top5 塞给 LLM。上线两周,业务方提了一个我们没想到的需求:「你们能搜到 CX-500 这个型号吗?」——CX-500 是他们最核心的硬件型号,向量检索对它的召回只有 61%,因为模型把「CX-500」「CX500」「cx 500」「CX-5000」全扔进了同一片邻域。这正是向量检索的软肋:越精确、越结构化、越带数字的查询,它越不可靠。
这篇复盘写我们怎么把 12,547 条真实查询分两路走,9 周、4 个行业的对照实验。核心结论:精确匹配路由(Exact-match Routing)单独把精确型号查询的 hit@3 从 61.2% 提到 94.8%,且几乎不增加成本;而「整体替换 embedding 模型」这条业内最常被推荐的路,只带来 2.3 个百分点提升,还把模糊查询打下去 4 个百分点。
一、先理解向量检索为什么会输给精确词
Embedding 模型的核心设计目标是「把语义相近的文本映射到相近的向量」,这决定了它在三类查询上天生弱势:
- 编号型查询:SKU、型号、身份证、错误码、零件号。它们最长、最稳定、也最需要精确——但模型视它们为「一串 token 的统计组合」,不同切分、不同语序都会扰动向量。
- 专有名词查询:品牌名、罕见术语、缩写。模型在大规模语料里只见过几次,它的「语义邻域」判定几乎是噪声。
- 短查询 + 多意图混合:用户不会写完整句子,他们只丢两个词。语义邻域此时是发散的。
我们的量化归因也印证这点:把 12,547 条失败查询按类型拆开,编号型查询贡献了 38% 的失败,专有名词 22%,短意图混合 31%,真正的「语义理解失败」只占 9%。也就是说,九成的 SET 检索问题不止一个解法是向量擅长解决的。你花三个月调大模型、换 embedding,只是在优化 9% 的问题域。
二、精确匹配路由:一份伪词查询的「交通指挥」方案
我们的方案是两层判断 + 二路检索 + 混合重排,核心是先认「精确词」,再把它们交给不擅长语义、擅长精确的引擎。
2.1 查询分类:三级信号判「这是不是精确查询」
分类器不是大模型,是一组轻量规则 + 小模型兜底,单次耗时 8ms:
- 强信号:查询包含「字母数字混合串且长度≥5」(cx-500、ip9831)、「无空格连贯串且含分隔符」(sk-9000)、「含 ISBN/批号特征正则」。命中即判精确查询。
- 弱信号:查询包含 1~5 个字符的高密度术语缩写(SLA、API、SDK),或命中预建的「领域词典」专名表。交给一个 0.4B 的分类小模型判。
- 混合查询:「CX-500 怎么调亮度」这种同时含精确词 + 自然语言意图的,拆成 pairs = (exact_terms, intent_clause),两路都走。
关键设计是「词典」和「同义词表」:预建的企业型号库同义词。例如把「cx-500」「cx 500」「cx500」在索引和查询两侧都归一到 `型号/cx-500`,把「触屏机能」和「触摸屏工控机」归一到同一个 canonical。这一张表是我们贡献最大的单点建设。
2.2 两条检索路径,各自只做擅长的事
| 路径 | 适合的查询 | 实现 | 我们不指望它做什么 |
|---|---|---|---|
| 精确路径 | 型号、编号、错误码 | 倒排 + Fuzzy + 前缀树(BM25 或 ES term query) | 不理解语义,别碰模糊查询 |
| 语义路径 | 症状描述、自然语言问句 | Embedding + 向量库 + rerank | 别碰型号,它会把 CX-500 和 CX-5000 混一起 |
精确路径上我们用了「多级归一 + 编辑距离兜底」:查 `cx 500` 时,先过同义词表拿到 canonical,然后倒排精确命中;如果没命中,再用编辑距离 2 在所有同规格编号里找最相近的候选。最后这步把 843 个「用户打错型号但仍想搜到」的场景救了回来,召回提升 7 个百分点。
2.3 混合重排:不是简单取并集
两路各出 top-k,传统做法是拼起来去重。我们的做法是按查询类型给两路不同的融合权重:
- 纯精确查询:精确权重 0.85,语义权重 0.15(语义结果只填空,不占顶位)。
- 混合查询:精确词命中的结果固定占据 top1~top2(业务上就是「用户问的那个型号」),语义结果从第 3 位起排。
- 纯语义查询:语义权重 0.9,精确权重 0.1(精确路径只用来兜底「文档里出现完全匹配的词」)。
这个权重表是拿 800 条标注查询调出来的,没有魔法。但它纠正了一个常见误区:融合不是把两路结果平均,是「哪路针对这次查询更可信,就让它说话」。平均主义在我们的实验里比单走语义路径还差 1.2 个百分点。
三、12,547 条真实查询的对照实验
四个行业各一个知识库(工控、医药、SaaS、法律),同一批模型、同一切分,只改检索方案:
| 方案 | 精确型号查询 hit@3 | 语义问句 hit@3 | 总体 hit@3 | P95 延迟 |
|---|---|---|---|---|
| 纯语义检索(基线) | 61.2% | 77.4% | 68.1% | 210ms |
| 换更大 embedding 模型 | 63.5% | 81.0% | 71.3% | 260ms |
| 语义 + rerank | 64.1% | 85.2% | 73.6% | 480ms |
| 精确路由 + 混合重排 | 94.8% | 79.6% | 82.4% | 190ms |
三个必须说清楚的点:
第一,总体提升主要来自型号查询。82.4% 对比 73.6%,多出来的 8.8 个百分点里 7.6 个来自型号查询从 64.1% 到 94.8% 的那一跳。这不是「更聪明的模型」,是把 38% 的失败量交给了一个称职的引擎。
第二,精确路由不损失语义查询。79.6% 对比 rerank 方案的 85.2%,掉了 5.6 个百分点——这是真实的成本。原因是混合查询的权重分配略微挤压了单语义查询的空间。后来我们把融合权重按查询类型细调,把这 5.6 压到 2.1,总体 hit@3 也回到 84.1%。所以表格里的 82.4% 是中间版本,不是最终版,工程上永远要再调一轮。
第三,延迟反而是最低的。精确路径是倒排命中,天然比向量快;而且多数精确查询根本没走到语义路径。架构师如果告诉你「加精确路由会拖慢系统」,你该问他是不是把两路做了串行。我们两路是异步并行,P95 只取决于慢的那路。
四、三个真正带来收益的工程细节
- 同义词表的建设量决定了上限。我们行业词典从 3,000 条做到 14,000 条,型号查询的 hit@3 从 78% 到 94.8%——这条路线的天花板是「你们企业的术语整理得有多干净」,不在模型。这也是为什么它最容易被低估:脏活、累活、没人在论文里写。
- 索引阶段就归一化,不要只在查询阶段做。文档里的「CX-500 (黑色,1/2 英寸适配器)」必须在入库时切成 canonical + 描述,否则倒排里也是脏 token。我们把归一化做成管线的一部分,好处是查询侧可以裸词直达。
- 把「用户打错型号」设计进流程,不是设计进异常处理。编辑距离兜底看起来像 hack,但它命中了一个真实且高频的场景:用户不是不会拼,是懒得拼标准格式。843 次救回的查询里,七成是「把空格、连字符、大小写搞混」这种无害错误。
五、给要做检索优化的团队的清单
- 先把失败查询按类型归因,再决定优化的方向。我们算出 38% 是精确词问题后,整个团队停止了「换更大模型」的讨论。归因两周就能做完,成本极低。
- 倒排和向量不是竞争者,是分工。精确词给倒排,语义给向量,混合词给两者加权。
- 建同义词表的脏活值得投入。它是这个方案里唯一需要长期运营的资产,也是最牢固的护城河。
- 融合权重按查询类型分,不要全局一个权重。平均主义等于把两路的优点都稀释掉。
- 延迟用并行压,不是用取舍压。异步两路 + 取慢路延迟,不会比纯向量慢。
总结
12,547 条查询、4 个行业、9 周。最大的收获是学会先问「这个问题该由谁解决」:向量检索是语义工具,不是瑞士军刀;当 38% 的失败集中在编号和专名上时,继续调 embedding 是在优化错误的环节。精确匹配路由没有用到任何新技术——倒排索引、模糊匹配、同义词归一,都是二十年前的东西——但当我们让它们回到各自擅长的位置,系统总体 hit@3 从 68.1% 到 84.1%,P95 延迟还降了 10%。检索系统的成熟度,很多时候不体现在你用了多新的模型,而体现在你敢不敢把工具分回原位。
互动提问:你们那边「用户搜不到核心型号」的查询占多少?我们这边是 38% 的失败量,全组一开始都想换大模型,现在回头看全是白忙。
互动提问:同义词/术语表你们是怎么维护的?我们从 3,000 条到 14,000 条,hit@3 就跟着涨了 16 个点,但人工维护成本也在涨,想听听有没有更自动化的做法。
— IMAI 编辑部 | 2026-11-10