模型知识截止探针集实测:120 道时效题,只有一半模型承认自己「不知道」
120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。
120 道答案全部落在训练截止日之后的时效题,测出六款主流模型的真实知识边界:平均约五成承认不知道,三成自信答错,还有 11.1% 把 2024 年旧闻当新闻讲。越热门的话题错得越自信,中文模型的时差表现也明显不同。
大家以为微调能解决一切,但60条轨迹的对照实验显示,微调后任务成功率提升14.2%、越界请求下降31%,幻觉率却反向上升6.3%。本文拆开这笔账,给出什么场景该微调、什么场景该用提示工程,以及一套可复用的评测基线。