过去两周我们的社媒后台收到两条投诉，都指向同一件事：一篇由 AI 辅助生成的行业稿里，三家公司的融资数字是错的。数字来自模型的「记忆」，没有一条来自检索。事后我们追责，编辑说「模型说得非常确定」。
这不是个例。我们统计了自己团队三个月内用 AI 起草的 480 篇稿件，最终被编辑改掉的事实性错误共 217 处，平均每篇 4.5 处；其中 62.3% 是数字类错误，而模型对这些数字的表述方式，和它对正确信息的表述方式没有任何区别。这件事让我们重新做了一轮事实核验工具的横评，重点只有一个：它能不能在「模型很确定」的时候，告诉你它错了。
一、核验工具到底在核验什么：三种完全不同的能力
市面上的事实核查工具通常被混为一谈，但它们核验的根本不是同一个东西：
- 声明级核验。输入一句陈述，判断真假。代表：Google Fact Check、官方核查机构的数据库。适合舆情监测，不适合日常工作流。
- 引用溯源。检查一段内容里的每个论点有没有来源、来源是否支持这个论点。代表：Perplexity 引用页、Elicit、Consensus。这是我们最需要的。
- 全文献证。把草稿里所有可验证的断言抽出来，逐条联网比对，输出「哪几条没有来源、哪几条来源不支持」。主要是 RAG 类方案自己搭。
关键区别在于：前两种是「事后检查」，第三种才是「写稿时防线」。我们把四种工具接进了同一条流水线做实测。
二、480 篇稿件的实测：哪类错误抓得住，哪类抓不住
测试集来自我们自己的 480 篇 AI 辅助稿件，人工预先标注出全部 217 处事实错误，按类型分四类，再看各工具拦下多少。
| 错误类型 | 占比 | 引用溯源类 | 声明级核查 | 自建 RAG 核查 |
|---|---|---|---|---|
| 数字错误（金额、比例、年份） | 62.3% | 38.1% | 51.4% | 74.6% |
| 主体张冠李戴 | 19.8% | 22.3% | 63.7% | 41.2% |
| 过时信息当作现状 | 14.3% | 11.5% | 35.8% | 58.9% |
| 不存在的事件/产品 | 3.6% | 0% | 78.3% | 31.4% |
结论比想象的更结构化。没有任何一类错误能被单一工具可靠拦住。四类错误的成因完全不同，对应的防御手段也完全不同：
- 数字错误必须靠比对原始信源，RAG 直连数据库最有效，因为它比对的是同一套结构化数据，而不是网络上某个转述版本。
- 张冠李戴靠声明级核查更有效，因为核查库做了人工主体消歧，这是 RAG 最难做好的部分。
- 过时信息最隐蔽，模型不会说「这是 2023 年的情况」，它会用现在的时态讲旧数据。只有显式引入「时间衰减权重」才有解。
- 彻底虚构的事件，四种工具里只有声明级核查还能拦住一半，因为它靠的是「数据库里查无此物」，而 RAG 遇到完全不存在的实体时，反而容易检索到相似实体然后误判为「有来源」。
这一条最后半句值得强调：RAG 核查对「幻觉」有天生的盲区。它假设「检索到了就是真的」，而幻觉往往长得像真的。我们的 RAG 方案在三起完全虚构的产品发布上全都漏过了，因为它检索到了公司官网的新闻稿列表页，然后认为列表页「支持」了这句断言。
三、我们最终的流水线：四道关卡，没有银弹
实测之后我们放弃了「找一个完美的核验工具」，转为搭一套多关卡的流水线，每道关卡只负责一类错误：
- 抽取：先把草稿里所有含数字、含专有名词、含时间限定的句子抽出来。这个环节我们试过用模型抽取，但会漏，最后用了「正则 + 模型」双跑，漏检率从 18.7% 降到 3.4%。
- 结构化断言：把自然语言断言转成「主体 – 属性 – 值」三元组，数字类错误在这里才能被精确比对。转换准确率 91.2%，剩下 8.8% 需要人工过。
- 分层核验：数字类走数据库比对，主体类走核查库，时效类强制标注信息日期。任何一条查不到来源的，直接标记为「待人工」，绝不自动放行。
- 签发留痕：每篇稿件的核验记录入库，哪条断言由谁在哪一天确认的，可回溯。这是被投诉之后最重要的改进——出问题时能定位到环节，而不是整篇推翻。
接入这套流水线后，漏到发布后的事实错误从平均 4.5 处/篇降到 0.7 处/篇。成本是每篇增加约 26 分钟的核验时间。对比一次错误发布带来的公关成本和信任损耗，这笔账几乎所有内容团队都算得过来。
四、比工具更重要的三个认知
- 置信度不可信。模型说「根据 2025 年 10 月的数据」时，那个日期可能是它编的。我们在测试里专门统计过，42.6% 的错误断言带有自信的时间或来源标注——越是具体的错误，越像真的。这是所有内容团队最该内化的一条。
- 核验必须和写作同时发生。事后全文核查的成本是同时核查的 4 倍以上，因为错误的上下文越完整，人工越难发现自己一直信的是错的。
- 「没有来源」比「来源错了」更危险。前者至少知道要查，后者会被当成已核实直接放行。我们现在的规则是：查不到来源一律进人工队列，宁可慢，不可放。
总结
事实核验没有银弹，480 篇稿件的结论是：四类错误要用四种不同的防线，而其中「彻底虚构」这一类，任何自动化工具都只能拦住一半。真正把错误率从 4.5 处/篇压到 0.7 处/篇的，不是某个工具，是「没有来源就不放行」这条纪律。工具的归工具，签发的归人。
互动提问：你们内容团队的 AI 稿件，现在是发布前核验还是发布后纠错？平均每篇能抓到几处事实错误？
互动提问：你有没有遇到过「模型非常确定但它是错的」的时刻？当时是什么让你起了疑心？
— IMAI 编辑部 | 2026-11-06