共 691 篇文章

投机解码生产实测:1,240 万次请求,文档里的 2-3 倍加速只有 1.53 倍

1,240 万次真实请求、14 周实测:投机解码加权加速比只有 1.53 倍,短请求甚至是负优化(P99 +3.8%)。拆解加速比对接受率、输出长度、批大小与 temperature 的依赖,以及按预估输出长度实时开关的落地策略与经验公式。