RAG 引用可信度实测:240 次真实问答,37.9% 的引用是伪造或错配

三个月前我们做了一次内部事故复盘:一份给客户的评估报告里,模型引用了一份内部 PDF 的结论,那句话读起来天衣无缝,还带了页码。问题是我们翻遍了整个知识库,根本没有这份文档。页码、标题、发布日期,全是生成的。

这件事之后我们把自己 RAG 系统的 240 次真实问答全部重跑,逐个标注「引用可信度」,得到一个残酷的分布:标注层和实际层差得很远。看起来有据可查的回答里,37.9% 的引用是伪造或错配的。而 RAG 的默认配置,几乎对这类错误零防御——它默认「检索到了就是支持」。这篇写我们后来是怎么用三道关把引用可信度做到可审计的。

一、RAG 引用造假的三种形态

先给错误分类,因为三类的修法完全不同:

形态 表现 实测占比
文档不存在 引用一份知识库里没有的文档 11.2%
文档存在、页码错 真实文档,定位到错的位置 42.3%
文档对但结论错 引用的原文不支持生成的结论 46.5%

最阴的是第三种。文档是真的、页码是对的,但原文写的是「在 A 条件下成立」,模型回答成了「普遍成立」。从引用格式上看毫无破绽,人工抽查也容易放过。我们后来的规则是:引用校验不能只验「文档存在」,必须验「结论 ∈ 原文」。

二、三道关卡,每道只拦一类错

  1. 存在性校验(治第一类)。生成引用的同时,强制输出结构化字段:doc_id + page + quote。落库前 doc_id 必须能 join 到真实文档,join 不上直接拒绝。这一道实现最简单,拦掉全部第一类,成本是一次结构化输出。
  2. 定位精度校验(治第二类)。拿 doc_id + page 回原文做字符串匹配,原文里找不到 quote,或者漂移超过一个语义块,标红。我们的阈值是 edit distance ≤ 15 且漂移 ≤ 1 块。这一道拦掉 68.4% 的第二类错误。
  3. 蕴含校验(治第三类,也是最难的)。用一个独立的小模型(我们用的 8B 推理模型)判断「quote 是否蕴含 query 对应的答案」。注意:不能用生成同一个模型做校验,它倾向于认为自己的输出是对的——我们用同族模型做自校验,自 dew 率高达 71%。换成独立小模型后,交叉否决率降到 9.8%。

第三道上线后,还剩 18.6% 的第三类错误漏到线上。剩下的靠人工队列兜底,规则是「蕴含分数落在 0.4-0.6 灰区的,全部转人工」。这个灰区判定比想象的宽,我们调过三轮才稳定。

三、240 次问答的前后对比

指标 改造前 三道关卡后
引用可完全追溯的比例 62.1% 94.7%
客户投诉「查不到来源」 9 次/季度 1 次/季度
额外延迟(P95) — +890ms
校验成本(每千次问答) — $1.84

额外延迟是真实的代价:P95 多了不到一秒。对于内部知识库场景可接受,但我们给一个实时客服场景做评估时,客户明确拒了——他们宁愿要 300ms 的答案也不要可审计。这就是为什么我们的做法是「分级校验」:面向决策、要落报告的场景全量校验;面向闲聊、即时响应的场景只做存在性校验。

四、比算法更重要的两个产品决策

  • 把「有没有引用」变成显式开关给用户。我们发现只要 UI 上标了「此回答有引用」,用户追问率下降 63%;但如果不标,用户几乎不会主动去核。不标等于白做。
  • 引用要能一键跳转并高亮原文。不能跳转的引用,在用户心里和没有一样。我们为了这一条改了前端三次文档预览组件,值得。

总结

RAG 引用可信度的核心不是「检索做得更好」,是承认生成模型必然会产生看似合理的引用,然后用结构化字段和独立校验模型把它拦在发布前。240 次实测的结论:三道关卡能把可追溯比例从 62.1% 拉到 94.7%,剩下的 5.3% 不是技术问题,是必须留给人看的灰区。

如果只抄一条:校验模型绝不能用生成模型的同族,否则它在校对自己的幻觉。

互动提问:你们的 RAG 有引用校验吗,还是只做了「检索 top-k 拼进上下文」这一步?

互动提问:你有遇到过模型给出的页码、文档名都对但内容对不上的情况吗?当时怎么发现的?

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-07

发表评论