用 AI 查文献的人都有过同一种糟糕体验：它给了一个听起来非常完整的答案，附了三条引用，你点开——第一条标题不存在，第二条论文的结论被它写反了，第三条是对的，但和你的问题基本无关。
这不是”模型不够聪明”的问题，是引用链路没有像其他工程问题一样被认真治理。我们做了 120 次真实科研检索，对比 NotebookLM、Elicit 与 Consensus，核心指标刻意不选”答案好不好”，而是选”每一条引用能不能被独立验证”。
这篇文章要回答两件事：这三家在”可验证性”上差多少，以及凭什么判断你该用哪一个。结论先说：没有通用的赢家，但有一个通用的工作流。
一、实验设计：只测可复现的部分
120 个问题分四类，每类 30 个：
- 事实型（30）：“某方法在某数据集上的指标是多少”——有唯一正解，考准确性。
- 比较型（30）：“A 方法和 B 方法在什么场景下更好”——需要跨多篇论文，考覆盖。
- 趋势型（30）：“某领域近三年的主流演进路径”——最易产生幻觉，考边界。
- 综述型（30）：“围绕某主题的方法分类”——考体系化能力。
判定分两层，刻意分开统计：引用有效性（DOI / arXiv ID 能否解析到真实论文、结论方向是否一致）和答案有效性（是否包含正确信息）。
分开的原因很实际：一个工具可以给出好答案但同时给错引用，这对科研是更危险的失败模式——你会以为自己有据可查，然后把它写进论文，答辩现场被人指出来。
另外有一个设计细节：每个问题都问两遍。第一遍记录初始结果，第二遍在追问”请确认每条引用的 DOI”之后再看变化。这样能测出”主动加固 prompt”到底有多大作用，而不只是记录工具的默认水平。
二、数据：引用有效性的差距接近三倍
| 指标 | NotebookLM | Elicit | Consensus |
|---|---|---|---|
| 引用可解析率 | 96.7% | 91.3% | 88.9% |
| 结论方向一致率 | 94.2% | 86.7% | 83.3% |
| 引用与问题相关性 | 90.8% | 78.3% | 72.5% |
| 虚构引用率 | 3.3% | 8.7% | 11.1% |
| 答案完整度（人工 5 分制） | 4.1 | 4.4 | 3.6 |
| 追问 DOI 后可解析率 | 97.5% | 96.1% | 94.4% |
最后一行是这次实验里最有用的发现，后面第三节会展开。先说三个反直觉结论：
1. 答案最好的工具，引用不是最可靠的。Elicit 答案完整度最高（4.4），但虚构引用率 8.7%，接近 NotebookLM 的三倍。原因是它的设计允许大模型在检索结果之外做归纳，一旦归纳超出证据范围，就容易造出引文。对写论文的人来说，这是最坏的失败模式——它错在”理直气壮”上。
2. NotebookLM 的高可靠性来自限制，不是智能。它的回答严格锚定在你上传的文档里，等于把”开放域问答”降级成”闭卷阅读”。这解释了它为什么在趋势型问题上表现平平（31.7%），却在事实型问题上几乎不失手。它的定位是读你已有的文献，不是帮你发现新文献。用错场景会得出完全错误的结论。
3. Consensus 的”有用”和”可引用”是两件事。它的论文聚合和结论抽取做得直观，但引文跳转链路在 120 次里有 11.1% 无法解析到原文。作为决策参考很好用，作为引文来源必须二次确认。它把”领域主流观点是什么”做得最好，把”这句话出自哪一页”做得最弱。
还有一个容易被忽略的现象：虚构引用的标题往往看起来格外合理——期刊匹配、年份吻合、作者姓氏对得上，它只是不存在。人工抽查时如果只扫标题和年份，会漏掉一半以上。核验必须查到 DOI 或 arXiv ID 解析成功。
三、按场景选，而不是按评分选
| 场景 | 首选 | 原因 |
|---|---|---|
| 精读 5–20 篇已知文献，做笔记与交叉提问 | NotebookLM | 锚定上传文档，几乎不产生域外引用 |
| 从零筛一个陌生主题的文献 | Elicit | 结构化抽取与筛选效率最高，但引文要核 |
| “这个领域的主流观点是什么” | Consensus | 结论聚合展示直观，适合快速形成判断 |
| 写论文正文引用 | 人工 + DOI 核验 | 任何工具都不该直接进参考文献 |
我们内部现在的固定动作是：Elicit 筛 → NotebookLM 读 → 引用一律回原始 DOI 核验。第三步不能省，省掉它就等于把 8.7% 的虚构率直接带进了论文。
关于第三节表格最后一行那组数据，值得单独说明：追问一次 DOI，三家的可解析率都提到 94%–97.5% 区间。这说明虚构引文大部分不是模型”凭空编造”的能力问题，而是它没有被要求出示证据。一句”每条结论必须附 DOI”就能换来 5 个百分点以上的可靠性提升，这是本次实验中投入产出比最高的一个动作。
四、让引用变可靠的三个工程动作
- 要求结构化引文标识。不要只问”请给出参考文献”，要明确”每条结论必须附 DOI 或 arXiv ID，缺失就标注为未验证”。不要接受含糊形式的”见某某（2023）”。
- 让 AI 做一致性自检。把生成结果回喂，问”你引用的第 N 条是否支持上面这句话？只回答：支持 / 不支持 / 引文不存在”。这一轮能捞回大部分反向引用，平均花 20 秒。
- 强制回原始出处。我们现在的规范是：AI 给的任何结论，写入文档前必须点开原文，确认那句话真的在论文里。平均每篇多花 20 分钟，但避免了更贵的返工——以及那两次我们都经历过的”答辩现场才被发现”。
总结
120 次检索的结论：AI 科研工具已经能大幅缩短”从零到筛完文献”的时间，但它给出的引用必须当作线索，不能当作证据。NotebookLM 靠闭卷约束做到了 96.7% 的可解析率，Elicit 用灵活性换来最好的答案完整度，也换来了近三倍的虚构率——这两者都是设计选择，不是缺陷。
真正该建立的不是”最信任哪个工具”，而是一条引用核验的工作流。工具会换代，这条工作流的价值不会变。
还有一条给带团队的判断：如果你现在只做一件事，就把”DOI 可解析”纳入文献收集的验收标准。它比提升任何模型能力都直接，而且不需要换工具。
互动提问：你有没有在论文或报告里引用过 AI 给的文献，后来发现那篇不存在？当时是怎么发现的？
互动提问：你的团队里，”AI 给的引用要点开原文确认”是硬规定还是靠自觉？如果是靠自觉，你觉得自己能坚持多久？
— IMAI 编辑部 | 2026-10-27