PD 分离部署实测:同板 63% 空转的真相,吞吐翻 3 倍,P99 首 token 从 2.9 秒到 480 毫秒
本地 vLLM 部署把 prefill 和 decode 拆开后发生了什么:单机 4×A100 跑 Qwen2.5-Coder-32B-AWQ,吞吐 412→1,180 tok/s,P99 2.9s→480ms。附配比扫描表与 chunked prefill 的收益边界。
本地 vLLM 部署把 prefill 和 decode 拆开后发生了什么:单机 4×A100 跑 Qwen2.5-Coder-32B-AWQ,吞吐 412→1,180 tok/s,P99 2.9s→480ms。附配比扫描表与 chunked prefill 的收益边界。