vLLM 生产调优实测：一个参数把吞吐翻三倍，P99 首 token 延迟从 3.8 秒压到 640 毫秒
同一台 A100 80G、同一个 Qwen2.5-32B 模型，从默认配置调到 1240 tokens/s 的完整账单：前缀缓存、max_tokens 收紧、chunked prefill 与 INT8 量化各自贡献多少延迟收益，以及为什么只看均值会把你更差的系统送上生产。
推理优化
本地部署量化实测：Q4 是免费的吗？数字能力坏了 10.6 分
两周连续压测 Qwen2.5-32B 与 Llama-3.3-70B 在 FP16、Q8、Q5、Q4 四档量化下的质量损耗与推理成本：Q8 几乎无损，是本地部署默认起点；Q4 通用题只掉 2.3 分，数字算术却暴跌 10.6 分，小模型碰 2 比特是断崖不是斜坡。附能力图谱测试法与并发压测避坑指南。