长上下文不是万能药:137 份真实长文档、4,860 次问答,全文塞入的正确率反而低 8.8 个点

我们给内部知识库问答接长上下文那天,产品同学的原话是:「现在模型都支持 100 万 token 了,为什么还要拆文档、切块、检索?整本塞进去不就行了。」厂商的演示也确实好看——大海捞针测试里,针放在第 98 万 token 的位置,模型照样能一字不差地捞出来。

但我们把 137 份真实的长文档塞进 100 万 token 上下文之后,故事完全不同:大海捞针全对,真实长文档问答的准确率掉了 31.4 个百分点,账单涨了 6 倍。这篇复盘记录我们 9 周、4,860 次真实问答测出来的规律:长上下文的衰减长什么样、钱花在哪里、以及我们最后为什么把「整本塞入」的default 方案砍回了「检索 + 局部长上下文」的混合架构。

一、评测设计:为什么大海捞针全对,还得再测一遍

大海捞针(needle-in-a-haystack)测的是单点事实召回:在一堆无关文本里埋一句「Wi-Fi 密码是 7A3F9K」,问模型要回来。这类任务考察的是注意力能不能覆盖到任意位置,结论通常是「位置越远,召回越差」,而 2026 年的模型基本已经把这个曲线拉平了。

真实的长文档问答根本不是这个形态。我们抽样了内部知识库里 137 份文档,平均 18.6 万 token,最长的一份 71.4 万 token,类型包括:产品 PRD(42 份)、技术架构文档(35 份)、合同与法务文件(28 份)、行业研究报告(32 份)。真实提问长这样:

  • 「第三版架构文档里,我们把消息队列从 Kafka 换成了 Pulsar,换的理由是什么,现在回看这些理由还成立吗?」——需要跨 3 个章节做时间线对照,还要给出判断。
  • 「这份 187 页的合同里,对我们最不利的三个条款是什么,和上一版比改了什么?」——需要全文扫描 + 阈值判断 + 版本 diff。
  • 「报告里关于东南亚市场的三段论述,数据口径一致吗?」——需要发现同一文档内部的矛盾。

这三类任务的共同点是:单点信息都找得到,难的是跨位置的组合、比较和判断。所以我们的评测集不是大海捞针,而是从这 137 份文档里人工构造的 4,860 个问题,分四类:单点事实(31.2%)、跨段比较(28.7%)、口径一致性核查(19.4%)、全文摘要与综合(20.7%)。每个问题都有两个标注员独立给答案和依据段落,争议样本进仲裁。

二、4,860 次真实问答的结果:衰减不是从尾部开始的

测试两个模型:A 模型(200K 上下文)和 B 模型(1M 上下文),都用各自的满窗口跑。因为 B 模型能整本塞入,我们测了「文档全量」和「截断到 200K」两种输入,看上下文长度的净效应。

任务类型 A 模型 200K
(相关块检索后)
B 模型 200K
(截断)
B 模型 1M
(全文)
相对 A 的变化
单点事实召回 91.2% 88.7% 89.4% -1.8
跨段比较 68.4% 52.1% 58.3% -10.1
口径一致性核查 61.7% 41.2% 46.9% -14.8
全文摘要综合 74.9% 58.6% 66.1% -8.8
加权平均 75.3% 61.8% 66.5% -8.8

四个必须记住的发现。

第一,长上下文买到的是「不用切块」,不是「更准」。B 模型全文塞入 vs A 模型检索后 200K,加权正确率反而低 8.8 个百分点。差距最大的三项——跨段比较、口径核查、摘要综合——全都不是「信息不在上下文里」的问题,是信息在但模型没把它用对。验收时我们人工看了 214 个失败样本,其中 61.3% 的失败案例里,答案所需的原文确实在上下文里,模型引用了位置更近但关联更弱的段落。

第二,衰减是「注意力在中段塌陷」,不是从尾部开始。按答案所在位置把 200K 窗口切成 10 段统计召回率:前 2 段 93.1%,中段(第 4-7 段)掉到 71.4%,末段回到 86.2%。这就是被说烂的「lost in the middle」,但我们要强调的是它的形状:中间低、两头高的 U 形。真实文档的关键信息往往恰好在中间——背景、动机、权衡过程,都在开头和结论之间。所以长上下文对真实文档的伤害,比对随机填充的合成测试大得多。

第三,口径核查掉得最狠(-14.8),因为这个任务要求全文统揽。「报告里三段论述数据口径一致吗」这种问题,模型需要在 71 万 token 里同时持有三个数字做比较,而我们观察到它在超过 40 万 token 后基本退化成「只对比它记得住的最后两段」。这类任务我们最后的结论是:长上下文解决不了,必须靠程序化的抽取和比对,让模型只做判断。

第四,B 模型的 1M 窗口比它自己的 200K 截断只高 4.7 个百分点(66.5 vs 61.8)。翻译一下:你把窗口从 200K 开到 1M,为多出来的 80 万 token 付了钱和延迟,只换回来 4.7 个点。长上下文的边际收益衰减极其陡峭,这是整篇复盘里最该记住的数字。

三、钱和延迟:长上下文的账单是平方的

很多团队只看「效果」就拍板整本塞入,没算过账。Transformer 的注意力是 O(n²),prefill 阶段的时间随上下文长度平方增长——这不是理论,是账单。

输入长度 P50 首 token 延迟 P99 首 token 延迟 单次查询成本 相对 32K 的倍数
32K 1.1 秒 2.3 秒 ¥0.031 1.0×
128K 2.4 秒 5.9 秒 ¥0.118 3.8×
200K 3.6 秒 9.4 秒 ¥0.187 6.0×
500K 10.7 秒 28.1 秒 ¥0.562 18.1×
100 万 31.4 秒 74.6 秒 ¥1.246 40.2×

三个推论。第一,首 token 延迟 31 秒对交互式产品是死刑——我们的知识助手里有 43.7% 的提问在 8 秒内被用户主动打断。所以「全文塞入」方案对问答类产品天然不成立,它只适合离线任务(批量摘要、合同审查),离线任务我们确实在用,那是另一个 ROI 模型。

第二,成本不是线性,是超过 1:3 的超线性。32K 到 200K 才 6 倍成本,200K 到 1M 就 6.7 倍成本(0.187 → 1.246),因为注意力二次项开始主导。这意味着「把窗口开大十倍的边际成本」远高于「把窗口开大两倍」。

第三,也是最实际的:你付钱买的很大一部分是重复的 prefill。同一份 71 万 token 的合同,法务同一天要问 11 个不同问题,每个问题都重新 prefill 一遍全文。我们上了 prompt cache 之后,命中部分的成本降到 10%,这一个改造把合同审查场景的月账单从 ¥41,300 压到 ¥12,800。用长上下文而不上缓存,等于每次提问都重新读一遍整本书。

四、我们最后的架构:三层漏斗,长上下文只用在最后一层

砍掉「整本塞入」之后,我们把长上下文的定位改成了三层漏斗的最末端,而不是入口:

  1. 第一层:元数据 + 摘要路由(1-2K token)。只把文档目录、章节摘要和问题类型丢给模型,判断「这个问题需要读哪几个章节」。成本几乎为零,覆盖了我们 58.4% 的问题。
  2. 第二层:检索定位(20-60K token)。对定位到的章节做向量 + BM25 混合检索,取 top 段落。加权正确率贡献最大,实测 71.2%。
  3. 第三层:局部长上下文(80-150K token)。只有跨段比较、全文综合这类任务才把定位到的多个章节整段塞入,并且只塞相关章节的完整上下文,不是整本。

改造后的数字:加权正确率 78.6%(比全文塞入的 66.5% 高 12.1 个点),P99 首 token 从 74.6 秒降到 6.2 秒,单次查询成本从 ¥1.246 降到 ¥0.043,降了 97%。

有一条判断标准我们内部叫「三问测试」,可以用来决定某个场景该不该用长上下文,分享出来:信息分散度如何?有没有跨段比较?用户愿意等多久?三个问题的答案都是「集中、要比较、不能等」的,基本都该走检索;只有「分散、单点、可以等」的离线任务,长上下文才是正解。

总结

4,860 个真实问答、137 份文档、9 周,最大的认知纠正是:长上下文解决的是「信息放不放进得去」,不是「模型用不用得对」。大海捞针曲线拉平之后,厂商就不怎么提 U 形衰减了,因为那是合成数据测不出来的东西。真实长文档的失败,61.3% 是「信息在上下文里但没被用对」,而这种失败,你窗口开得再大也无济于事——只会更贵、更慢。真正划算的用法是把它当漏斗的最后一层,配合 prompt 缓存和前两层路由。单次查询成本 1.246 元降到 0.043 元、P99 从 74.6 秒到 6.2 秒,这套架构我们已经稳定跑了四个月。长上下文是个好能力,但它是个贵能力,贵能力就该用在刀刃上。

互动提问:你们有没有遇到过「窗口开大之后效果反而变差」的真实案例?我们测出来是 U 形衰减,但身边也有团队说他们的场景全文塞入就是比检索准,很想搞清楚是任务类型的差异还是检索没做好。

互动提问:长上下文场景下,你们的 prompt 缓存命中率能做到多少?我们同一文档多轮追问的命中率大概在 76%,但一问到跨文档比较就归零,一直没找到好的办法。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-13

发表评论