我们组去年花了 14 周做一件听起来很粗暴的事:把 6 个主流开源模型(Qwen2.5 系列、Llama 3.1/3.3、GLM-4、DeepSeek-V3、Mistral Small)在 23 个真实业务任务上逐个跑,只回答一个问题——在显存固定的前提下,任务成功率到底差多少,值不值得为那 5 个百分点换一倍的卡。
结论是:在显存约束下,「最强模型」经常不是最优选择,而多数团队的选型错误不在模型,在 KV cache 和上下文策略。这篇把 14 周的实测数据、我们最终的选型矩阵、以及三个部署陷阱写清楚。
一、测试环境:先固定变量,再谈结论
先说边界条件,否则数据没有意义:
- 硬件统一为 2×A100 40GB(vLLM 0.7,TP=2,最大模型长度 8192);
- 任务集 23 个,覆盖代码、写作、抽取、推理、翻译五类,全部是内部真实任务的脱敏版本;
- 评价指标三条:任务成功率(人工评审)、P99 首 token 延迟、单任务成本;
- 量化统一不启用,先看 FP16/BF16 的原生表现。
注意最后一条:不量化。因为一量化就引入了「哪些模型扛得住量化」这个新变量,我们想先隔离出模型本身的能力差。
二、23 个任务实测:差距没有榜单那么大
汇总成功率(人工评审「可用」比例):
| 模型 | 代码 | 写作 | 抽取 | 推理 | 翻译 | 总成功率 | P99 首 token |
|---|---|---|---|---|---|---|---|
| Qwen2.5-32B | 78.6% | 84.1% | 88.3% | 61.7% | 82.4% | 79.0% | 1.42s |
| Llama-3.3-70B | 81.2% | 79.8% | 85.1% | 69.4% | 76.9% | 78.5% | 2.31s |
| Qwen2.5-14B | 71.3% | 80.6% | 84.9% | 57.2% | 79.5% | 74.7% | 0.68s |
| GLM-4-9B | 68.4% | 77.2% | 86.7% | 58.9% | 74.1% | 73.1% | 0.41s |
| DeepSeek-V3 | 83.7% | 82.3% | 87.2% | 72.6% | 85.8% | 82.3% | 3.04s |
| Mistral-Small-24B | 73.9% | 76.4% | 81.2% | 55.8% | 78.3% | 73.1% | 0.89s |
结论一:总成功率最高的 DeepSeek-V3 和最便宜的 GLM-4-9B 只差 9.2 个百分点,但延迟差 7.4 倍、显存占用差近 4 倍。如果你的任务是「抽取、分类」这类封闭域,9 个百分点不值得。
结论二:没有全面赢家。DeepSeek 强在推理和翻译,Qwen2.5-32B 强在中文写作和抽取,Llama 强在英文代码。按任务分流比选一个「最强」更划算——我们最终上线的就是三模型分流,网关层按任务类型路由,成本比全用 DeepSeek 降 44.3%,综合成功率反而升了 1.8pp(因为延迟低了,超时重试少了)。
三、三个部署陷阱,都是拿线上事故换来的
- KV cache 给得不换算不出账。同配置下,把
gpu_memory_utilization从 0.85 提到 0.92、KV cache block 从 8000 加到 16000,吞吐涨了 2.3 倍,但并发超过 32 就开始排队。默认参数是给「能跑」设计的,不是给「能上生产」设计的。我们现在按「P99 首 token ≤ 1.5s」反推最大并发,而不是拿默认值上线。 - 上下文长度是隐形成本炸弹。开 128K 上下文时,即使请求平均只用了 2K,KV cache 预分配策略也会吃掉更多显存。我们实测:32 并发下,max_model_len 从 8192 改到 131072,可用 KV cache block 从 16000 掉到 3900,吞吐降 71%。生产上按业务真实 P99 长度设定,不要「以防万一」。
- 量化不是免费午餐,要看任务。补测一轮 INT4(AWQ):代码任务成功率平均降 6.2pp,抽取类只降 2.1pp,中文写作降 8.7pp。抽取和分类场景可以放心量化省显存,代码和写作场景要先测再上。
四、我们最终的选型矩阵
如果你也在 2×A100 这个量级选型,直接抄这份:
| 场景 | 推荐 | 理由 |
|---|---|---|
| 内部抽取/分类/打标 | GLM-4-9B 或 Qwen2.5-14B,可 INT4 | 成功率够,延迟最低,显存最省 |
| 中文写作/客服草稿 | Qwen2.5-32B BF16 | 中文质量领先,抽取不弱 |
| 复杂推理/英文代码 | DeepSeek-V3 或 Llama-3.3-70B | 推理差 11pp,值得单独部署 |
| 高并发低延迟 API | Mistral-Small-24B + 语义缓存 | 首 token 0.89s 里性价比最好 |
核心原则:按任务分流,而不是按「哪个榜分高」选一个。分流网关的实现成本比想象低(我们是一个 200 行的路由服务),收益是省钱且不掉点。
总结
14 周的结论:显存约束下的开源模型选型,最优解几乎从来不是「榜单第一」,而是「按任务分流 + 按真实长度限上下文 + 该量化的场景才量化」。模型本身的差距,在固定硬件上往往被部署参数抹平甚至反转。
如果只抄一条:先把 max_model_len 按业务 P99 长度设小,把 KV cache 和并发按 P99 延迟反推,再去看模型榜单。顺序错了,选谁都是白选。
互动提问:你们团队选开源模型时,是先定场景再测,还是先看榜单再套场景?
互动提问:你在 vLLM 或 TGI 上调 KV cache 和上下文长度时踩过坑吗?吞吐是怎么掉的?
— IMAI 编辑部 | 2026-11-07