模型量化部署横评:AWQ、GPTQ与GGUF的44组实测,70B模型4bit退化4.8%
同一张A100上完成44组权重量化实测:7B模型4bit几乎无损,70B模型长文摘要退化8.7%,而PPL只涨0.14。附显存速查表、三条部署路线的延迟成本账本,以及34B 4bit优于13B全精度的完整证据链。
同一张A100上完成44组权重量化实测:7B模型4bit几乎无损,70B模型长文摘要退化8.7%,而PPL只涨0.14。附显存速查表、三条部署路线的延迟成本账本,以及34B 4bit优于13B全精度的完整证据链。