长上下文不是万能药:137 份真实长文档、4,860 次问答,全文塞入的正确率反而低 8.8 个点
137 份真实长文档、4,860 次问答、9 周实测:全文塞入 100 万 token 上下文的加权正确率反而比「检索后 200K」低 8.8 个百分点,单次查询成本却高 29 倍。深度拆解注意力 U 形衰减、跨段比较与口径一致性退化、prompt 缓存省钱逻辑,以及我们把架构改回三层漏斗后的完整数据。
137 份真实长文档、4,860 次问答、9 周实测:全文塞入 100 万 token 上下文的加权正确率反而比「检索后 200K」低 8.8 个百分点,单次查询成本却高 29 倍。深度拆解注意力 U 形衰减、跨段比较与口径一致性退化、prompt 缓存省钱逻辑,以及我们把架构改回三层漏斗后的完整数据。
1,240 万次真实请求、14 周实测:投机解码加权加速比只有 1.53 倍,短请求甚至是负优化(P99 +3.8%)。拆解加速比对接受率、输出长度、批大小与 temperature 的依赖,以及按预估输出长度实时开关的落地策略与经验公式。