模型知识截止探针集实测:120 道时效题,只有一半模型承认自己「不知道」
120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。
120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。