我们有一个内部 RAG 助手,P99 首 token 延迟一直是 1.8 秒。今年 Q3 产品团队提了个需求:「要让用户感觉它在思考。」我们第一反应是上前缀缓存,但那玩意儿主要省的是首 token 前那段 prefill,对生成阶段的每 token 延迟没帮助。真正能压生成速度的是投机解码——用一个便宜的小模型先草稿几个 token,再由大模型一次性验证,对了就白赚。
概念我们早就懂,但真上了生产才发现:文档里的「2-3 倍加速」在真实流量下变成了 1.53 倍,而且在短请求场景里它居然是负优化。这篇复盘记录我们在 1,240 万次真实请求、14 周里测出来的规律:什么流量形态下投机解码是净赚、什么形态下是净亏、以及为什么最后我们的策略是「按请求长度实时开关」。
一、原理回顾:为什么加速比不是一个固定值
先把机制说清楚,因为后面所有结论都从这儿推出来。自回归生成的瓶颈是每生成一个 token 都要完整跑一次大模型前向,而这个前向的计算量绝大部分花在「读一遍 KV cache」上。投机解码的想法是:小模型(draft model)按自回归方式先生成 k 个草稿 token,然后大模型一次性并行验证这 k 个 token——因为验证阶段是并行的,读 KV cache 的成本近似只付一次。
验证只有三种结果,而它们决定了收益:
- 全部接受:一步走完 k 步,赚 k/t 倍速度,这是理想情况。
- 部分接受(前 j 个对,第 j+1 个错):赚 j 步,然后从那个错误 token 开始继续。这是最常见的情况,所以真实加速远低于文档值。
- 第一个就错:纯亏——草稿白算,验证也白算,还要从正确位置重新开始。
关键推论:加速比 = f(接受率 α, 草稿长度 k, 两个模型的单步耗时比 γ)。其中接受率由两个模型的分布契合度决定,草稿长度是超参,而 γ 是硬件和模型大小的比值。这三个参数里唯一在生产中剧烈波动的是接受率——它随请求内容变化极大,而按请求内容变化的东西,就不可能有一个全局最优的静态配置。
二、1,240 万次真实请求:加速比到底是多少
我们用一套内部 RAG 助手做生产实验,主模型是 32B(A100 80G 单卡,FP8),草稿模型是同族的 1.5B。流量构成:内部知识问答 61.2%、代码解释 18.4%、文档摘要 12.1%、其他 8.3%。我们没有用合成 benchmark,全部是真实用户请求——这是我们最坚持的一条,因为合成请求的 token 分布和真实分布差得太远。
固定 k=4、接受率统计窗口为小时级,14 周滚动结果:
| 请求类型 | 平均输出长度 | 接受率 α | 实测生成加速比 | 端到端 P50 延迟 | 端到端 P99 延迟 |
|---|---|---|---|---|---|
| 知识问答(短) | 78 token | 0.71 | 0.94(负优化) | +4.1% | +3.8% |
| 知识问答(长) | 412 token | 0.74 | 1.61 | -31.2% | -28.4% |
| 代码解释 | 286 token | 0.58 | 1.19 | -9.7% | -8.2% |
| 文档摘要 | 534 token | 0.76 | 1.83 | -38.4% | -35.1% |
| 加权平均 | 217 token | 0.68 | 1.53 | -21.3% | -19.6% |
三个必须记住的数字。第一,加权平均只有 1.53 倍,离文档里的 2-3 倍很远——文档测的是几乎全部接受的人工样本,而我们 0.68 的接受率意味着每 3 个草稿 token 才有 2 个能用。第二,代码解释只有 1.19 倍,因为它输出里大量是 API 名、变量名这类「两个模型各有各的写法」的 token,分布契合度天然低。第三,也是最反直觉的:短请求是负优化,P99 反而涨了 3.8%。
三、为什么短请求是负优化
短请求吃亏的机制非常具体,值得拆开算一遍账。以 78 token 的知识问答为例:
- 不用投机解码:78 步大模型前向,每步 42 毫秒,生成阶段合计 3.28 秒。
- 用投机解码、k=4:理论上需要 20 轮验证。但首轮之前多了一次草稿计算(约 8 毫秒),且每轮验证比普通前向慢约 15%(batch 里塞了 4 个位置的 logits)。
- 接受率 0.71 时,平均每轮白赚 2.48 步,实际只需要约 32 轮。32 × 42 × 1.15 毫秒 ≈ 1.54 秒,加上草稿开销和多轮调度的固定损失约 0.31 秒,净得约 1.85 秒。
看数字这明明是赚的——但这是纯生成阶段。问题出在端到端:78 token 的请求,prefill 阶段(读 RAG 检索出的 4,000 字上下文)要 890 毫秒,流式首 token 还要等 1.1 秒。生成阶段的 1.4 秒节省,被调度开销、草稿模型显存占用导致的 batch 排队,以及更细粒度的 kernel launch 全部吃掉还不够。请求越短,prefill 占比越高,投机解码的收益窗口越小,而它的固定成本一分不少。
这个发现直接改变了我们的策略:投机解码不是全局开关,它只该在「生成阶段占总延迟比例足够高」的请求上开。我们上线了一个轻量预估器,在请求进入时根据「上下文长度 + 请求类型 + 历史平均输出长度」预测最终输出长度,预估超过 200 token 才启用投机解码,其余走普通解码。上线后加权平均加速比从 1.53 变成 1.68,而 P99 从「+3.8%」变成「-14.2%」——同一个特性,只因为加了开关判断,就从部分场景的负优化变成了全面正优化。
四、调 k 的真相与踩过的坑
草稿长度 k 是最容易让人误解的超参。直觉上 k 越大越赚,我们在文档摘要流量上扫了一遍 k ∈ {2,3,4,6,8}:
| k | 加速比(摘要流量) | P99 延迟 | 显存增量 | 备注 |
|---|---|---|---|---|
| 1(等价关闭) | 1.00 | 基线 | 0 | 对照 |
| 2 | 1.42 | -22.1% | +0.3G | 保守档 |
| 3 | 1.68 | -29.4% | +0.5G | — |
| 4 | 1.83 | -35.1% | +0.8G | 峰值收益 |
| 6 | 1.79 | -33.8% | +1.4G | 开始回落 |
| 8 | 1.52 | -26.3% | +2.3G | 明显回退 |
规律很清晰:k 存在一个与接受率相关的最优点,接受率 0.76 时最优在 4 附近。k 过大会有三个代价——验证 batch 变宽导致单轮更慢、被拒绝后要丢弃更多已算 token、以及草稿模型自己的自回归延迟线性增长。k 的最优值 ≈ 1/(1-α) 附近,这是个可以拿来直接用的经验公式:接受率 0.6 的最优 k 在 2-3,接受率 0.85 的最优 k 能放到 7-8。
还有三个坑值得单独说。第一,草稿模型和你必须同族。换 vocab 不兼容的模型后,接受率从 0.68 掉到 0.41,加速比归零——因为 tokenizer 不同的模型在子词切分上分歧巨大,草稿 token 大量在第一步就被拒。第二,批处理吞吐下投机解码几乎无优势。离线批处理场景 batch size 经常到 64,那时瓶颈是显存带宽而不是步数,投机解码反而因为草稿模型抢占显存让主模型 batch 缩水,整体吞吐掉了 6.3%。第三,Temperature 越高越不划算。用户把 temperature 从 0.3 调到 0.9 时,接受率从 0.74 跌到 0.51——两个模型采样结果一致的概率本来就低,再加上随机性,投机解码基本失效。我们最后对 temperature > 0.7 的请求直接关闭该特性。
总结
1,240 万次请求、14 周、5 个 k 值、3 个温度档。最大的教训是:投机解码的加速比不是一个能写进架构文档的常数,它是关于「接受率、请求长度、批大小、温度」的四元函数,而生产流量会让这四个变量同时剧烈波动。文档里的两三倍来自理想样本,你的真实值更可能是 1.2 到 1.8,而且短请求上可能是负的。真正可落地的经验只有三条:按预估输出长度做开关、k 取 1/(1-α) 附近、temperature 高了就关。把这三条做对,1.53 倍的实际收益是可以稳定拿到手的——但如果你指望它一键翻三倍,那还是回去优化 prefill 和缓存更实在。
互动提问:你们的推理链路是怎么决定「哪些请求开投机解码」的?我们那个长度预估器是按历史均值拍的,误判率约 12%,一直在想有没有更轻的信号可用。
互动提问:有没有人在高 batch 的离线场景下用投机解码跑出过正收益?我们测出来是掉 6.3% 吞吐,但怀疑是调度实现的问题而不是机制问题,很想看看别人的数据。
— IMAI 编辑部 | 2026-11-12