共 691 篇文章

长上下文不是万能药:137 份真实长文档、4,860 次问答,全文塞入的正确率反而低 8.8 个点

137 份真实长文档、4,860 次问答、9 周实测:全文塞入 100 万 token 上下文的加权正确率反而比「检索后 200K」低 8.8 个百分点,单次查询成本却高 29 倍。深度拆解注意力 U 形衰减、跨段比较与口径一致性退化、prompt 缓存省钱逻辑,以及我们把架构改回三层漏斗后的完整数据。

投机解码生产实测:1,240 万次请求,文档里的 2-3 倍加速只有 1.53 倍

1,240 万次真实请求、14 周实测:投机解码加权加速比只有 1.53 倍,短请求甚至是负优化(P99 +3.8%)。拆解加速比对接受率、输出长度、批大小与 temperature 的依赖,以及按预估输出长度实时开关的落地策略与经验公式。