RAG 召回的隐藏规律:320 组查询实测,文档越多反而越难搜,四步把 top-1 命中从 61.9% 拉到 83.4%

我们做过一次不太光彩的内部复盘:一个 RAG 问答产品上线一个月,准确率看着 76%,用户投诉里排第一的却是”这个问题上周还能答对”。回头查日志,答案没变、问题没变,唯一变的是这几周往知识库里灌了 3 万多篇新文档——而它们把原本排在第一位的正确文档,挤到了第 14 位。

这不是注入攻击,也不是模型退化,是检索层最常见的慢性病:新文档挤占召回位、重复文档稀释分数、旧文档的过期声明继续生效。我们做了一轮 320 组查询的对照实验,最终通过”时间衰减 + 新鲜度配额 + 去重后再排序”三件事,把 top-1 命中率从 61.9% 拉到 83.4%,同时把”引用已过期文档”的比例从 23.1% 压到 3.4%。

一、先承认:RAG 的失败有八成不在”检索不到”

大多数团队调 RAG 默认调两件事:embedding 模型、top-k。但把 320 组失败查询全部切片归类之后,分布是这样的:

失败类型 占比 表层现象 真正的原因
召回位被挤占 28.4% “正确文档明明在库里” 新文档与问题词面相似度更高,但内容已过期
重复文档稀释 21.7% 答案前后矛盾 同一份文件的三个版本都在 top-k 里,互相打架
语义漂移 17.5% “检索到的都挺相关,就是答不对” 问题跨越多个文档,单文档召回无法回答
索引陈旧 14.4% 引用了废止的政策 文档删除只做了软删,还留在向量库
真·检索不到 18.0% “库里真没有” 含口语、错别字、缩写,需要 query 改写

只有 18% 是”检索不到”,也就是 82% 的失败发生在”检索到了但检索错了”。这意味着你把 embedding 换成更贵的模型,只能解决不到两成的问题——这个结论在我们后来横评三家向量库、三种 embedding 时反复被验证:检索框架那 18% 的差距,值得花钱;挤占、稀释这 50% 的差距,值得花的是数据治理的功夫。

二、动作一:给文档加时间衰减,别让新文档无成本插队

第一个动作是引入衰减,公式本身非常朴素:

final_score = base_similarity × log(1 + age_days × decay) ^(−1)

不要小看这个 ^(-1) 带来的差别。默认情况下,新旧文档只比相似度,一个三天前写的”内部草稿”可以轻易打赢三年前定稿的规范文档,因为前者的用词离用户问题更近。加上衰减后,超过 180 天的文档会被压到与新文档相差一个数量级的分数区间。

我们给不同文档族配不同衰减系数:政策规范类 0.004、产品说明 0.002、会议纪要和快讯 0.008。关键是衰减系数要写在每条文档的元数据里,不要全局一个值——不然你等于宣布所有文档等寿命,这在一个真实知识库里是不存在的。

配套动作是把”废止状态”做成硬过滤,而不是靠排序自然地沉底。被 repeal 的文档如果只靠分数下沉,在查询词冷僻的时候它仍然是 top-1。我们把 status=repealed 的文档在检索层直接去掉,召回位立刻腾出 18.7%。

三、动作二:新鲜度配额,给长期价值留座位

衰减解决”谁先被淘汰”,但会带来新问题:知识库的主体是有长期价值的工程文档、设计规范、API 文档,如果一律衰减,这些会被营销稿挤掉。我们引入了”配额制”:每次召回 20 个文档,其中至少 12 个必须来自”永久文档族”(元数据里标记为 evergreen),至多 8 个来自时效族(新闻、更新日志、政策变更)。

做法的实现成本很低:分两路召回,一路 evergreen 取 12,一路时效取 8,合并后进 rerank。听起来像在调度算法里看过的桥接——确实是,本质上是把”公平性约束”引入检索,防止单一维度分数通吃。

效果上,这个改动单独贡献了 top-1 命中率 8.6 个点,而且它顺带治好了”引用矛盾”:因为同一问题的多个版本往往分属不同族,配额天然把新老版本同时送进候选,而不是让新版本在初筛阶段就把旧版本挤掉。

四、动作三:先合并同类,再让 rerank 说话

第三件事最容易被忽略:重复文档的稀释发生在排序之前。我们的知识库里,同一份 API 文档平均有 2.7 个版本在向量库中同时可检索,传媒类文档甚至有 5.9 个。这意味着一次 20 个召回位里,平均 7 个是同一内容的不同版本。

解法不是去重数据库,而是在检索后加一道簇化合并:按语义相似度把候选聚成簇,每簇只保留一个代表进 rerank,被压缩的版本作为同簇证据保留在链路里。我们用的阈值是相似度 0.86,阈值调高会把真重复也放进来,调低会把本应并列的事实(”上海”和”上海市”)也砍掉,需要拿自己的查询集调。

rerank 我们用 cross-encoder,只在簇代表上跑,数量从 20 降到 12,单次查询的 rerank 耗时下降 47%,而 top-1 命中率反升 5.9 个点。这是这次改造里少见的”又快又准”。

五、320 组查询的完整对照

方案 top-1 命中 top-5 命中 引用过期文档率 P95 检索延迟 用户体感满意度
基线:纯向量 top-20 61.9% 88.1% 23.1% 310 ms 58%
+ 时间衰减 69.3% 89.4% 11.7% 320 ms 66%
+ 新鲜度配额 77.9% 91.2% 6.2% 345 ms 78%
+ 簇合并 + rerank 83.4% 94.8% 3.4% 410 ms 86%

最后一行 P95 多了将近 100 毫秒,这是我们这次改造付的账。如果产品对延迟敏感,可以把 rerank 挪异步,或者把簇合并提前到写入阶段做——我们后来就把重复版本合并挪到了文档入库时,线上 P95 回到了 330 毫秒。

总结

这件事最反直觉的一点:调入更多文档,会让已有的正确答案更难被找到。知识库不是”越多越好”的,它是有容量、有半衰期、有公平性约束的系统。

如果只做一件事,我会选给文档加”族别 × 衰减”元数据——它是后面两个动作的地基,而且不需要碰模型。

互动提问:1) 你的 RAG 有没有遇到过”明明库里有的东西搜不出来”?最后查到是挤占、稀释还是真没入库?2) 你愿意给”新闻稿”和”技术规范”设不同的召回配额吗?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-07

发表评论