上个月我们把一个内部代码助手从云端 API 切回了本地部署,理由很朴素:代码不能出内网。切回来之后第一周,运维同事找我喝咖啡,说了一句让我后背发凉的话——”现在 P99 首 token 延迟 2.9 秒,但我们 GPU 的空转率是 63%。这两件事是同一个原因造成的。“
我当时的第一反应是”不可能”,延迟高说明算力不够,算力不够怎么可能还有 63% 空转?查了两天 profiling 数据,发现自己一直在用一个错误的心智模型看推理服务。这篇复盘讲怎么把一个本地 vLLM 部署的吞吐提上来、把 P99 压下去,以及为什么这两件事在 PD 分离架构下是同一个动作。先给数字:单节点 4×A100、Qwen2.5-Coder-32B-AWQ,改架构加调参之后吞吐从 412 tok/s 到 1,180 tok/s,P99 首 token 从 2.9 秒到 480 毫秒,GPU 平均利用率从 37% 到 79%。
一、延迟和利用率为什么是同一个问题:prefill 和 decode 互相挡路
本地部署最常见的做法是”一个 vLLM 实例什么都干”,同一个节点既做 prefill(处理输入,算力密集型)又做 decode(逐 token 生成,访存密集型)。这两个阶段的硬件瓶颈完全相反:
| 阶段 | 计算特征 | 瓶颈硬件 | 典型 batch 形态 | SM 占用率 |
|---|---|---|---|---|
| Prefill | 矩阵乘为主,并行度高 | 计算单元(TFLOPS) | 少量长序列 | 接近饱和 |
| Decode | 逐 token GEMV,并行度极低 | 显存带宽 | 大量并发小请求 | 常常低于 40% |
关键就在这张表:当 decode 占着卡的时候,SM 大量空转但显存带宽吃满;当一个长 prefill 请求插进来,它需要把整个长 prompt 灌进去——而同一个实例的调度器默认是逐 batch 处理的,结果是 decode 里排队的十几个短请求被这一个长 prefill 堵住 300 毫秒以上。反过来也一样,长 prefill 想占满算力时,decode 的小请求又把它切成碎片。
我们的 profiling 里最刺眼的一个数字:在混合负载下,7.3% 的时间槽里 GPU 两者的瓶颈都没吃满,但请求全在排队。这不是算力问题,这是调度把两种错峰负载塞进了同一个瓶颈。
二、PD 分离:把 encode 和 decode 拆到不同实例
方案层面没有新东西,2024 年以来业界讲 PD 分离(vLLM 的 `–enable-pd-disaggregation`,或 Splitwise/DistServe 那套思路)的文章不少,但真正落到中小规模自建场景时,有三个细节决定成败,我把踩过的坑列在下面:
- KV cache 必须搬过去,这就决定了你必须有一个高带宽的中间层。我们用 NVLink 同机两实例(实际是一张 A100 切两个 CUDA context),跨机场景下这个 KV transfer 要么走 RDMA,要么老老实实同机。我们测算过,跨 10Gbps 网络传一个 8k 上下文的 KV,光是传输就要 400 毫秒以上,prefill 省下的时间全赔进去。单机两实例是性价比最高的起手式。
- prefill 和 decode 的实例配比要按负载实测,不能拍脑袋。prefill 实例数 : decode 实例数在业界常听到 1:2 或 1:4,我们的代码助手负载(大量长上下文补全、中等生成长度)最后实测 1:1 反而最稳。原因是我们 prompt 中位数 2,800 token,decode 端为了维持大 batch 也吃显存,两边都得留 KV 空间。我们做过一张配比扫描表,贴出核心三档:
| 配比(P:D) | 吞吐 tok/s | P99 TTFT | decode 排队时长 | 结论 |
|---|---|---|---|---|
| 1:2 | 1,340 | 310 ms | 反而升高 | prefill 成瓶颈 |
| 1:1 | 1,180 | 480 ms | 最低 | 最终选择 |
| 2:1 | 1,020 | 580 ms | 正常 | 算力浪费 |
注意这里的取舍:1:2 吞吐更高,但 P99 首 token 反而失控,原因是 prefill 实例太少,长 prompt 排队。我们选 1:1 不是因为吞吐最高,是因为 P99 和利用率同时最好看。选型标准取决于你的用户对什么敏感。
三、参数:一个 chunked prefill 解决了大部分问题
架构之外,真正”一个参数抵三周优化”的是 --enable-chunked-prefill 加合理的 chunk size。它的作用是把长 prefill 切成小块,块与块之间让出调度权给 decode 请求。
我们把它和 PD 分离拆开做 A/B,单独看它的效果:在不分离的混合负载下,开 chunked prefill 把 P99 从 2.9 秒压到 1.6 秒(吞吐从 412 微升到 530),因为长 prefill 不再整块堵住队列;再叠加 PD 分离后,P99 到 480 毫秒。两个动作的收益不是叠加关系,是覆盖关系:chunked prefill 已经拿走了大部分”长请求堵短请求”的收益,PD 分离额外拿走的是”两种瓶颈互相污染”的那部分。
另外两个小参数值得一说:
- `max_num_seqs` 别设太大。我们从默认 256 调到 96,吞吐几乎没掉,P99 明显改善。原因是大 batch 下 decode 每一步都要等最慢的那个请求,SM 空转时间段被拉长。
- `gpu_memory_utilization` 的 0.92 是陷阱。我们一度调到 0.95 追求 KV 空间,结果一次显存峰值把进程 OOM kill 两次。给系统留 5% 显存是保险费,不是浪费。
四、量化和 KV cache 的真实代价
上线版本跑的是 AWQ 4bit(权重 32B 模型量化到约 18GB)。量化省下的显存让我们能在同一张卡上放下 prefill 和 decode 两个实例——这可能是量化在这个项目里最大的价值,不是”每 token 更便宜”,是让架构选项变得可行。
代价也要说清楚:AWQ 在我们的代码补全评测集上,相对 FP16 有 4.7% 的通过率下降(Pass@1 从 61.2% 到 56.5%),在中文注释生成上更明显。我们最后接受这个损失,因为代码补全有 IDE 兜底,错了用户会改;如果这是要给客户直接读的生成场景,我们会重新评估。
总结
代码助手切回本地的这一个月,最大的认知升级是:本地推理的延迟问题,多数不是”卡不够快”,是”调度把错峰的负载塞进了同一个瓶颈”。prefill 和 decode 一个吃算力一个吃带宽,天然应该分工;把它们分开之后,我们一张卡干出了原先 1.6 张卡的活,而 P99 从 2.9 秒降到 480 毫秒。
如果你的自建推理服务也延迟高、利用率低,我的建议顺序是:先开 chunked prefill(两小时的事),再考虑 PD 分离(两周的事),最后才考虑加卡(花钱的事)。我们这三步都走过,顺序错了会白花很多力气。
互动提问:你们自建推理时,prefill 和 decode 的实例配比是按什么定的?我们是拿线上负载回放扫出来的,想知道有没有更好用的估算方法。
互动提问:AWQ 那 4.7% 的代码能力下降,你们团队是怎么和业务方达成共识的?我们内部为这个数字吵了两周,想看看别人的验收标准怎么定。
— IMAI 编辑部 | 2026-11-12