三个月前我们做了一次内部事故复盘:一份给客户的评估报告里,模型引用了一份内部 PDF 的结论,那句话读起来天衣无缝,还带了页码。问题是我们翻遍了整个知识库,根本没有这份文档。页码、标题、发布日期,全是生成的。
这件事之后我们把自己 RAG 系统的 240 次真实问答全部重跑,逐个标注「引用可信度」,得到一个残酷的分布:标注层和实际层差得很远。看起来有据可查的回答里,37.9% 的引用是伪造或错配的。而 RAG 的默认配置,几乎对这类错误零防御——它默认「检索到了就是支持」。这篇写我们后来是怎么用三道关把引用可信度做到可审计的。
一、RAG 引用造假的三种形态
先给错误分类,因为三类的修法完全不同:
| 形态 | 表现 | 实测占比 |
|---|---|---|
| 文档不存在 | 引用一份知识库里没有的文档 | 11.2% |
| 文档存在、页码错 | 真实文档,定位到错的位置 | 42.3% |
| 文档对但结论错 | 引用的原文不支持生成的结论 | 46.5% |
最阴的是第三种。文档是真的、页码是对的,但原文写的是「在 A 条件下成立」,模型回答成了「普遍成立」。从引用格式上看毫无破绽,人工抽查也容易放过。我们后来的规则是:引用校验不能只验「文档存在」,必须验「结论 ∈ 原文」。
二、三道关卡,每道只拦一类错
- 存在性校验(治第一类)。生成引用的同时,强制输出结构化字段:doc_id + page + quote。落库前 doc_id 必须能 join 到真实文档,join 不上直接拒绝。这一道实现最简单,拦掉全部第一类,成本是一次结构化输出。
- 定位精度校验(治第二类)。拿 doc_id + page 回原文做字符串匹配,原文里找不到 quote,或者漂移超过一个语义块,标红。我们的阈值是 edit distance ≤ 15 且漂移 ≤ 1 块。这一道拦掉 68.4% 的第二类错误。
- 蕴含校验(治第三类,也是最难的)。用一个独立的小模型(我们用的 8B 推理模型)判断「quote 是否蕴含 query 对应的答案」。注意:不能用生成同一个模型做校验,它倾向于认为自己的输出是对的——我们用同族模型做自校验,自 dew 率高达 71%。换成独立小模型后,交叉否决率降到 9.8%。
第三道上线后,还剩 18.6% 的第三类错误漏到线上。剩下的靠人工队列兜底,规则是「蕴含分数落在 0.4-0.6 灰区的,全部转人工」。这个灰区判定比想象的宽,我们调过三轮才稳定。
三、240 次问答的前后对比
| 指标 | 改造前 | 三道关卡后 |
|---|---|---|
| 引用可完全追溯的比例 | 62.1% | 94.7% |
| 客户投诉「查不到来源」 | 9 次/季度 | 1 次/季度 |
| 额外延迟(P95) | — | +890ms |
| 校验成本(每千次问答) | — | $1.84 |
额外延迟是真实的代价:P95 多了不到一秒。对于内部知识库场景可接受,但我们给一个实时客服场景做评估时,客户明确拒了——他们宁愿要 300ms 的答案也不要可审计。这就是为什么我们的做法是「分级校验」:面向决策、要落报告的场景全量校验;面向闲聊、即时响应的场景只做存在性校验。
四、比算法更重要的两个产品决策
- 把「有没有引用」变成显式开关给用户。我们发现只要 UI 上标了「此回答有引用」,用户追问率下降 63%;但如果不标,用户几乎不会主动去核。不标等于白做。
- 引用要能一键跳转并高亮原文。不能跳转的引用,在用户心里和没有一样。我们为了这一条改了前端三次文档预览组件,值得。
总结
RAG 引用可信度的核心不是「检索做得更好」,是承认生成模型必然会产生看似合理的引用,然后用结构化字段和独立校验模型把它拦在发布前。240 次实测的结论:三道关卡能把可追溯比例从 62.1% 拉到 94.7%,剩下的 5.3% 不是技术问题,是必须留给人看的灰区。
如果只抄一条:校验模型绝不能用生成模型的同族,否则它在校对自己的幻觉。
互动提问:你们的 RAG 有引用校验吗,还是只做了「检索 top-k 拼进上下文」这一步?
互动提问:你有遇到过模型给出的页码、文档名都对但内容对不上的情况吗?当时怎么发现的?
— IMAI 编辑部 | 2026-11-07