RAG 系统的检索质量有一个掩盖得很深的问题:向量相似度很高、reranker 打分也不低,但召回的那段文本里根本没有答案。我们花了三个月、2,410 个真实工单问题去追这个故障模式,最终发现它和 embedding 模型基本无关——问题出在「文档切分之后,实体被切断在两头」。
故障现象起初是个偶发客诉。客服知识库里有一条退货政策,用户问「羽绒服洗了之后能退吗」,系统召回的段落以「以下商品影响二次销售不予退换」开头,答案所在的羽绒服细则在上一段的末尾。检索失败,但四个相似度指标全是绿的。这类问题在工单里反复出现之后,我们决定系统地拆一次。
先解释一下为什么四个指标会同时失灵。裸切分系统里,chunk 是「定长窗口」而不是「语义单元」,一个 chunk 的向量是它内部所有文本的平均表现。当答案句被切到 chunk 尾部、噪声句在 chunk 头部时,这个 chunk 的向量既不能准确匹配问题、也不会低分落榜——它处在一个「谁都像、谁都不对」的中间地带。用户在搜索引擎里输错一个字还能找到结果,RAG 里是「看起来找到了」。这就是 RAG 最危險的故障形态:沉默的失败。
一、故障定位:问题不在模型,在切分边界
2,410 个问题全部来自真实客服工单,按人工标注分成四类,用同一套检索栈去测:
| 问题类型 | 数量 | 占比 | 裸切分 chunk=512 正确率 | 真实失败主因 |
|---|---|---|---|---|
| 单段落可答 | 1,046 | 43.4% | 94.2% | —(基线正常) |
| 需跨段实体 | 683 | 28.3% | 61.7% | 实体被切在两个 chunk |
| 需跨文档 | 412 | 17.1% | 48.9% | 相关政策在另一份文件 |
| 隐含条件 | 269 | 11.2% | 55.8% | 触发条件写在另一节 |
把 683 个「需跨段实体」问题的失败样本逐条打印出来之后,模式非常一致,几乎都是同三种切分破坏:
- 实体割裂:产品型号「MH-2300-XL」被切成「MH-2300-」和「XL 仅在北方仓有货」,embedding 后两段各自都匹配不上用户的完整提问。
- 主谓割裂:政策主语在上段末尾、谓语和例外条款在新段开头,「以下情况除外:已激活的换货商品不在 7 天范围内」这类句子被拆开后,新段开头变成了无主句。
- 表格结构破坏:尺寸表从中间截断,用户问「175 cm 选哪个码」时召回的半张表没有任何意义。
这里要说一个和直觉相反的点:把 chunk 从 512 调到 256,正确率会从 61.7% 掉到 44.1%;调到 1024,也只回到 79.3%,且引入了大量噪音。问题不是窗口大小,是边界落在了语义单元内部。后来我们换了三种切分策略重测,差异才显现出来。
顺便记一个调参幻觉:1024 字档位的正确率数字比 256 好看,容易让人误以为「窗口大就是好」。但把它的失败样本摊开看,多出来的正确率里有一半是「运气好,答案句恰好没被切开」,另一半是召回变宽后误打误撞带进来的。它的误报(召回了段落但答案不在重点位置)从 12.4% 涨到 27.6%。窗口调大不是修好了切分,是把噪声一起放进了候选集,让下游生成模型在更多无关文本里找答案。这类「总体正确率上升、可用性下降」的调参陷阱,在没有分类指标的时候几乎看不出来。
二、解决方案:加一层「检索块」,而不是重训 embedding
试过四条路线,按代价和收益排序如下:
| 方案 | 手段 | 需跨段实体正确率 | 需跨文档 | 隐含条件 | 索引体积 | 额外延迟 |
|---|---|---|---|---|---|---|
| S0 基线 | 固定长度切分 + 向量检索 | 61.7% | 48.9% | 55.8% | 1.0x | 0 ms |
| S1 语义切分 | 按句子 embedding 突变点切分 | 83.4% | 52.1% | 59.2% | 1.2x | +62 ms |
| S2 小型块检索 | 128 字小块建索引,命中后返回父块 | 91.8% | 60.3% | 64.7% | 1.6x | +28 ms |
| S3 S2 + 结构化索引 | S2 基础上,型号/表格/政策名单独建实体表,查询先做实体识别 | 92.4% | 81.2% | 86.9% | 1.9x | +44 ms |
S2 的思想很朴素:索引小块、返回大块。用 128 字左右的句子级小块做向量匹配(粒度细,实体不容易被切断),命中后再回溯到 512 字的父块喂给生成模型——既拿到精准匹配,又保留完整语义上下文。实测把需跨段实体的正确率从 61.7% 拉到 91.8%,而索引体积只增加 60%,延迟增加 28 毫秒,远比重训模型的成本低。
这个设计的本质是把「匹配粒度」和「生成粒度」解耦。裸切分系统里这两件事被同一个 chunk 尺寸绑死,而它们的最优值本来就不一样:匹配要细,生成要全。我们把这个分离做彻底之后,还多出一个好处——同一个父块下的多个小块命中,可以合并成一次父块召回,等于免费做了一次「多查询聚合」。数据显示,用户问题拆成两个子查询分别命中小块、再合并到同一父块的场景占 14.3%,这类问题的正确率比单一查询命中高 6.2 个点。
S3 补的是另外三类问题的短板。做法是把知识库里的结构化实体单独抽出来建表——产品型号、尺寸规格、政策名称、例外条款,查询进来先跑一遍实体识别,命中的直接走结构化检索而不是语义检索。「175 cm 选哪个码」这类问题,本质是表格查询,不是语义相似问题。把这类分流出去之后,需跨文档和隐含条件两类都从过半的错误率降到 19% 以下。
S3 里有一个具体实现细节值得分享:实体识别失败时不要直接退回向量检索,要先做一次「查询改写」。比如「MH-2300 那个什么时候补货」识别不到完整型号时,系统会用规则把「MH-2300」和「补货时间」分开,前者走实体表、后者走语义检索,两边结果在父块层面对齐。这个 fallback 把 S3 的实体未覆盖率从 22% 的纯损失压到了 9%。纯向量兜底的问题是它会把半截型号当成普通词去匹配,召回到的往往是错误的商品线。
三、代价与坑:别直接抄这个组合
三个必须承认的成本。一是索引维护复杂度直接翻倍:小块、父块、实体表三套结构,文档更新时要同步三级,我们上线后第一个月有 6 次故障是父块回填指错了版本(改的是旧版父块、索引里指向的还是旧 ID)。二是 S3 的实体表有长尾成本:非结构化文档里的政策名靠规则抽取,覆盖率卡在 78% 左右,剩下的靠人工补,我们为这个补了 190 条政策别名。三是延迟:S3 的 +44 毫秒是 happy path,实体识别失败回退到 S2 时是 +70 毫秒,P99 达到 210 毫秒——如果你们的知识库查询在同步链路上,这个数字要先和调用方对齐。
另外两个值得记录的教训。第一,语义切分(S1)看着先进,实际性价比最低:+62 毫秒延迟、1.2 倍体积,只换来 21 个正确率点,而且它的切分点对中文政策文本并不稳定,一批新文档入库后切分结果会变,导致同一问题的召回漂移——不可复现的切分比错误的切分更麻烦。第二,reranker 救不了切分错误。我们在 S0 上加了 reranker 重排,正确率只从 61.7% 到 66.2%——因为答案根本不在候选集里,重排只是在错误候选里挑一个稍微好点的。检索失败要往召回源头修,不是往排序末端修。这条经验在我们的场景里几乎可以当成定理用:凡是 reranker 加了没效果的,先去看候选集里有没有答案。
四、落地建议
如果只做一件事:把「索引小块、返回父块」这个改动先上了。它不需要动 embedding 模型、不需要重训,改的是切分和索引结构,一个中等规模系统一到两天能落地,且在三类故障上都有效。我们的判断是:多数团队的 RAG 准确率瓶颈在切分和召回策略,不在模型选型——把预算花在换模型上,收益远远小于修切分。
关于小块多大算合适,我们测了 64 / 96 / 128 / 192 字四档,128 字是拐点:低于 100 字时小块本身开始切断短句,高于 160 字时「实体被完整包含」的比例下降不明显、而匹配精度下降。这个数字和语种强相关,中文政策文本下 128 字大约覆盖两到三个完整句子,换英文技术文档可以放宽到 200 token 左右——别直接抄数字,按你自己的句子长度分布定。
父块大小的选择逻辑不同:它不是「越大越好」,而是按任务的有效注意力定。我们发现父块超过 512 字之后,生成模型对块中部的注意力显著下降(用显著性打分近似验证),末尾正确率会再掉 3-5 个点。所以父块的上限不是检索问题,是下游生成模型的可用上下文问题。这也是为什么我们最后停在 512 字而不是 1024——多出来的 512 字没有增强召回,只是稀释了注意力。
第二件事是建一张「失败分类看板」。把每个低分召回的 case 按本文四类人工打标,只跑两周,你就会知道自己的钱该花在哪。我们的经验是:单段落可答占比高的系统,换 embedding 有用;后三类占比高的系统,换模型纯属浪费。打标的工作量比想象中小——我们两人一周处理了 870 个 case,平均每个 90 秒,因为绝大多数失败看第一眼就能归类。
总结
2,410 个真实问题、四条方案迭代。核心结论三句话:一,RAG 检索失败的主因常常是切分把实体和主谓切断在 chunk 边界,和 embedding 模型关系很小。二,「小块索引、父块返回」用 28 毫秒和 60% 的索引体积,换 30 个百分点以上的正确率,是性价比最高的一步。三,结构化实体单独走查询通道,跨文档和隐含条件问题才能从过半错误率压下来。
最后一句话总结这次三个月最大认知升级:RAG 的检索层是个工程问题,不是模型问题;reranker 和换模型都排在修切分后面。
互动提问:你们的 RAG 失败 case 里,「答案在文档里但没召回到」这类占多少?我们卡在 28.3% 的需跨段实体问题上,想知道大家是不是也被切分坑过。
互动提问:有没有团队把结构化实体表做成自动维护的?我们靠规则抽取卡在 78% 覆盖率,一直没找到低成本的全自动方案。
— IMAI 编辑部 | 2026-11-13