如果你做过 AI 搜索或研究工具，一定遇到过这种尴尬：模型自信地告诉你某个分数、某条政策、某家公司的融资额，语气笃定，逻辑通顺，引用齐全——但它是错的。更糟的是它不会说”我不知道”，它会用一个”截至我的知识更新”当作免责声明，然后继续给出一个编得很像的数据。
这次我们做了一件很朴素的事：造一个”知识截止探针集”，120 道题的答案全部落在各家模型的训练截止日之后，然后用它测六款主流模型。结论先说：平均只有 54.2% 的问题被模型承认”我不知道”，而这 54.2% 里还有一部分是把 2024 年的旧答案当成新答案奉上的。
一、为什么必须用”截止日之后”的题来测
传统知识问答测试的漏洞在于：你不知道模型是”记住了”还是”检索到了”。问”中国 2023 年 GDP 是多少”，答对了说明不了任何关于 2026 年的事。只有把出题点放在模型训练截止日之后，才能逼出它真实的知识状态。
我们的探针集 120 题，全部满足三个条件：
- 时间明确在 2025-09 之后，确保晚于被测模型的训练截止。
- 答案是一个可核验的事实（数字、日期、人事、版本号），不是观点。
- 该事实在公网有多方报道，模型”本应可能检索到”——我们就是要看它在不能检索时的表现。
分布：政策法规 30 题、产品发布 30 题、人事任免 25 题、融资并购 20 题、赛事/榜单结果 15 题。刻意包含 30 题”看起来像常识但其实很新”的陷阱题——这类最容易骗到模型。
二、六款模型的真实表现：错不是最糟的，错而不自知才是
| 模型 | 答对 | 答错且自信 | 承认不知道 | 拿旧闻冒充 | 时效敏感度 |
|---|---|---|---|---|---|
| GPT-5 | 18.3 | 31.7 | 50.0 | 12.5 | 59.2 |
| Claude 4.5 | 21.7 | 26.7 | 51.7 | 9.2 | 63.4 |
| Gemini 2.5 | 24.2 | 22.5 | 53.3 | 14.2 | 61.8 |
| DeepSeek V3 | 26.7 | 20.8 | 52.5 | 11.7 | 66.3 |
| Qwen2.5-72B | 15.8 | 36.7 | 47.5 | 10.8 | 54.6 |
| Llama 3.3-70B | 12.5 | 41.7 | 45.8 | 8.3 | 50.1 |
| 平均 | 19.9 | 30.0 | 49.8 | 11.1 | 59.2 |
三个反直觉的发现：
第一，模型能力越强，不代表时效判断越准。Llama 3.3-70B 在通用能力上并不是最弱的，但在这组探针上它的”自信错误率”最高（41.7%）。小模型同样不知道自己不知道。
第二，中文模型在中文时事题上明显更稳。Qwen2.5 和 DeepSeek 的做对率比开源国际模型高出 10-14 个百分点，但它们的代价是”旧闻冒充”率也偏高——DeepSeek 有 11.7% 的情况把 2024 年的事件说成”刚刚发生”。
第三，最危险的组合是”答对一点 + 编造其余”。120 题里有 38 题（31.7%）模型给出了”部分正确”的回答：事情是真的，但数字是错的；或者人物是对的，但时间记错了。这类回答比完全胡编更难被发现，因为它会通过人工的第一道筛子。
三、三类高发失败，逐类拆
3.1 “温柔更新”：把旧答案套上新时间
这是最隐蔽的一类。问”某公司最新一轮融资是多少”，模型知道这家公司 2024 年融过 10 亿，于是回答”该公司于 2026 年 3 月完成 10 亿融资”。数字可能是它记住的，时间戳是它现编的。120 题里这类”旧闻冒充”占 11.1%，而且在版本号、政策编号上尤其高发——因为这些东西的格式极其规整，模型很容易拼出一个合规但错误的编号。
我们的对策是强制要求引用具体日期。只要回答里出现任何时间、版本、金额，就必须附带一个可点击的来源和发布日期。附不上的，一律判为不可信——这一条规则捞回了大量错误。
3.2 流行度幻觉：越热门的话题错得越自信
我们按话题热度把 120 题分三组，结果是一个很清晰的梯度：
| 话题热度 | 题数 | 平均做对率 | 平均自信错误率 |
|---|---|---|---|
| 高热（全网广泛报道） | 40 | 27.5 | 33.6 |
| 中热（行业媒体） | 45 | 18.9 | 29.4 |
| 低热（小众/专业） | 35 | 13.2 | 26.9 |
热度越高，模型越觉得自己”应该知道”，于是错误率越高。这不是巧合，是训练分布的必然——高热话题在预训练里出现频次高，模型的先验更强，而强先验恰恰是截止日之后最危险的东西。
3.3 跨语言时差：同一个题，换语言答案会变
我们用中英双语各跑了一遍同一个探针集，发现同一个模型在同一道题上的表现可以差 20 个百分点以上。最典型的情况是：某个事件在中文世界报道充分、英文世界几乎没有，模型用英文问就答不知道，用中文问也答不知道——但如果你在中文问题里塞一个英文关键词，它的错误率会显著上升。
这意味着“模型的知识”不是一个标量，是一个按语言、按主题、按时间分布的三维结构。团队内部用一个”模型懂得多不多”来判断可靠性，会系统性地误判。
四、不信它老实：把”不知道”变成硬规则
试过让模型”更谨慎”，效果很差。最终有效的是四步，核心思想是把”我不知道”从一种美德，变成一条硬规则：
| 步骤 | 动作 | 效果 |
|---|---|---|
| 1. 知识边界明示 | prompt 里写入 cutoff 日期，并要求”此后事件一律回答不知道” | 承认不知道率 50.0%→61.7% |
| 2. 事实三分栏 | 输出必须拆成【已知】/【不确定】/【需检索】三栏 | 自信错误率 31.7%→19.2% |
| 3. 强制时间戳 | 每个事实点必须带来源与日期，缺一项就整段降级 | 旧闻冒充 12.5%→4.6% |
| 4. 检索优先 | 涉及”最新/今年/目前”的问题直接路由到搜索 | 整体错误率再降 22% |
组合起来之后，端到端的”可信回答率”从 41.7% 提升到 68.3%。第四步的收益最大而且最便宜：只要你检测到时间敏感词，就别问模型，直接去检索。这是整个实验里性价比最高的一个动作。
总结
120 道时效题可以压成三句话：模型平均只有五成会承认自己不知道，剩下五成里有一半以上在自信地编造；越热门的话题错得越自信，这是先验的代价不是随机的疏忽；唯一可靠的解法不是让它更诚实，而是用输出结构和检索路由把”不知道”变成默认动作。
更重要的认知是：知识截止日不是一个日期，是一个概率分布。同一个模型在不同语言、不同主题、不同时间点上的边界完全不同。你要做的不是记住”它知道到什么时候”，而是建立一个”这个问题能不能问它”的判断机制——这个机制的回报，远高于换一个更新的模型。
互动提问：你们在用 AI 查时事/政策类信息时，踩过最贵的一次”自信错误”是什么？
互动提问：你觉得把”不知道”设为默认动作，会不会让 AI 在太多场景下变得不好用？这个边界你们怎么划？
— IMAI 编辑部 | 2026-11-02