上季度我们做过一次「看起来很合理」的改版:把内部两个检索场景的 embedding 模型从 bge-large-zh-v1.5 换成一家新发布的多语言模型,理由是公开榜单上它的中文检索分数高了 4.1 分。上线第 3 天,产品文档站内搜索的 top-1 命中率从 61.4% 掉到 53.7%,客服历史工单搜索从 74.2% 掉到 66.8%。我们回滚了模型,但这件事让我们下决心做一次完整的归因:7 周、12,547 条带人工标注答案的真实查询,把每一次检索失败都定位到具体环节。
结论有点反直觉:换 embedding 模型带来的收益只有 2.3 个百分点,而 45.0% 的失败发生在模型之前——在查询理解、索引构建和检索策略这三个环节。这篇把归因结果、每一步的实测数据和最终的调优顺序写清楚。如果你也在做语义检索,建议先按这个顺序自查,别一上手就换模型。
一、12,547 条失败查询的归因:模型只占两成
先把测试集和标注方式说清楚,否则百分比没有意义:
- 产品文档:18,426 篇,五年存量,含大量活动规则和更新日志;
- 工单历史:412,806 条,含客服与用户的多轮对话原文;
- 查询集:从近 90 天真实搜索日志抽样,剔除无意义输入,保留 12,547 条,每条由两名标注员独立判定「命中的首条结果是否覆盖问题意图」,不一致进仲裁;
- 指标:top-1 命中率(首条覆盖意图)、top-5 命中率、P95 检索延迟。
归因后的失败分布:
| 失败环节 | 占比 | 典型表现 | 案例 |
|---|---|---|---|
| 查询侧 | 31.2% | 用户原话与文档用词差异大 | 用户输入「昨天买的券今天用不了」,文档写「优惠券使用时间窗口」 |
| 索引侧 | 27.8% | 分块切断语义、表格断层、标题丢失 | 一整篇「退换货政策」被切成 9 块,条款和例外分家 |
| 检索策略 | 18.6% | 纯向量召回、单段 top-k、相似度不会校准 | 「聚合支付」和「聚合支付通道费」 cosine 0.71,实际答非所问 |
| 模型语义 | 22.4% | 跨语言、专业术语、长难句 | 英文技术手册里的「idempotency key」与中文站内文档 |
这张表是我们整个项目最重要的产出。它说明在继续调模型之前,有三处更便宜的杠杆。而公开榜单测的是干净整齐的短查询对,测试不到「用户原话」这一层——这就是为什么榜单涨 4.1 分,线上掉 7.7 分。
二、查询侧改写:用户说的是原话,不是关键词
31.2% 的失败里,最大一类是「用户没有义务按文档的用词提问」。我们的查询改写只做三件事,没有引入任何重写模型:
- 同义词与别名扩展。从企业内部词典和历史搜索的点击日志里挖共现,构建「用户词 → 文档词」映射(例:下单车 → 下单失败原因、用不了 → 不可用/已过期/已核销)。上线后单独贡献 top-1 +9.3pp。
- 指代与时态解析。对「昨天买的」「刚才那个订单」这类时间/会话内指代,用轻量规则补全为绝对时间与对象 ID,再送检索。这一步对工单场景收益极大,因为历史工单里 46.7% 的查询含有这类相对指代。
- 停用词与语气剥离。去掉「请问」「我想问一下」「麻烦」等冗余,缩短向量表征的噪声。收益小(+1.7pp)但几乎零成本。
注意一个反例:我们试过用 LLM 做查询改写,让它把用户原话「规范化」成书面语。结果 top-1 反而掉了 2.1pp,因为模型会把「券用不了」改写成「优惠券无法使用的技术原因」,凭空引入了原文没有的限定词,把检索引向技术文档而不是活动规则。查询改写要做扩展,不要做压缩。
三、索引侧:收益最大的不是换 embedding,是分块和标题注入
27.8% 的索引侧失败,我们用四种分块策略在同一批文档上做了对照:
| 策略 | 块均长 | top-1 | top-5 | 索引体积 |
|---|---|---|---|---|
| 固定 512 token 滑动窗口 | 512 | 53.7% | 78.9% | 1.00× |
| 固定 1024 token | 1024 | 58.4% | 81.2% | 0.71× |
| 按标题层级切分(无前缀) | 可变 | 64.9% | 84.6% | 0.83× |
| 按标题层级切分 + 标题路径注入 | 可变 | 71.5% | 89.3% | 0.83× |
| 父子块(父 1200 供阅读 / 子 300 供检索) | 300/1200 | 74.8% | 91.7% | 1.12× |
三个可复用的结论:
- 「按标题层级切分」比「固定长度切分」高 11.2pp,因为它不切断条款-例外、条件-结论这类成对结构。固定窗口切分把一个完整政策切成 9 块,是索引侧失败的最大来源。
- 把标题路径注入子块(如「售后服务 / 退换货 / 例外条款」)再单独贡献 +6.6pp。向量的表征会被块内的口语化内容稀释,标题路径提供了稳定的语义锚。
- 父子块是最终方案:子块小、语义纯,召回准;命中后返回父块,避免「召回到了但字数不够回答」。代价是索引体积 +12%,可接受。
顺带说一句多语言那件事:新模型在纯英文文档集上确实高 4.3pp,但我们的文档 91% 是中文且带大量行业口语。换模型的正确姿势是先分类测,不是全量替换。
四、检索策略:混合检索的权重,0.35 是个被抄错的数字
很多人从某篇教程里继承 0.35 * BM25 + 0.65 * vector 的加权公式。我们在中文真实查询上做了权重扫描:
| 方案 | top-1 | P95 延迟 | 备注 |
|---|---|---|---|
| 纯向量 | 71.5% | 62ms | 基准 |
| 纯 BM25 | 64.1% | 9ms | 专有名词和型号强 |
| 加权 0.35/0.65 | 76.3% | 64ms | 通用起点 |
| 加权 0.50/0.50(我们的最终值) | 81.7% | 65ms | 中文短查询 BM25 该更重 |
| RRF(k=60) | 79.8% | 66ms | 对 top-k 截断更稳 |
| 加权 + Cross-Encoder 重排 top-50 | 85.4% | 188ms | 最终方案 |
为什么 BM25 要提高权重:中文真实查询里 71.4% 在 8 个字以内,含产品名、型号、活动名这类词。这类词向量模型表征得并不好,字面匹配反而准。而在 30 字以上的长问句上,向量权重高才有优势——所以我们最终做的是按查询长度分档:短查询 0.5/0.5,长查询 0.3/0.7,两档各自 +2pp 左右。
五、相似度不是概率:把阈值当校准表,别当常数
最后一项改动收益最小但最影响体感:把「cosine ≥ 0.72 就返回」这个常数阈值,换成了按分数分桶的校准表。我们把 3,000 条查询的 top-1 相似度按 0.05 分桶,统计每桶的真实命中率:
| 相似度区间 | 真实命中率 | 处理 |
|---|---|---|
| 0.86–0.95 | 93.4% | 直接返回 |
| 0.78–0.86 | 85.7% | 直接返回 |
| 0.70–0.78 | 61.2% | 进入重排 + 展示「不确定」 |
| 0.60–0.70 | 32.8% | 不返回结果,引导换词 |
| <0.60 | 6.9% | 直接拒答 |
也就是说,同一个 0.72 分,在 BM25 主导的短查询里值 0.79,在向量主导的长查询里只值 0.66。我们用固定阈值时,大量 0.70–0.78 分段被当成「有结果」返回,用户看到的是似是而非的文档——这类失败不体现为「没搜到」,而体现为「搜到了但不对」,最伤信任。改成校准表后 top-1@可答集从 85.4% 变成 89.2%(可答集缩小了 11.3%,因为模糊查询被主动拒答)。
总结
7 周、12,547 条查询的最终账单:top-1 命中率从 53.7% 到 89.2%,其中换 embedding 模型的贡献是 +2.3pp,其余全部来自查询改写、分块与标题注入、混合检索权重、阈值校准。如果只让你抄一条,抄顺序:先修查询和索引,再调检索策略,最后才动模型。顺序反了,你会花三周调一个只占两成问题的变量。
互动提问:你的语义检索项目里,「搜到了但不对」和「完全没搜到」的比例是多少?我猜前者被严重低估了。
互动提问:你们做混合检索时,BM25 权重是拍脑袋定的还是扫参扫出来的?短查询和长查询会分档吗?
— IMAI 编辑部 | 2026-11-08