本地推理生产运维实战：124 次压测，把冷启动、显存水位和降级链路这四件事立起来才敢上线
124次压测告诉你，Ollama默认配置上不了生产。瓶颈是默认配置的批处理、显存策略、冷启动与可观测性四点，没有一项靠换模型能解决。本文给出四层监控与降级链路、冷启动压到12秒的三个动作和三条运维红线。
模型量化
AI 推理降本实测：2140 万次请求、92 天模型分流改造，月成本降 77.9%，最大的节省反而不是换模型
对10条生产工作流做92天模型分流改造，覆盖2140万次真实请求，月推理成本降下77.9%。收益取决于流量形状而非开源强度；中间只存在一个70B甜点档；而最大的隐藏节省藏在vLLM显存与批处理调优里，顺序反了整个账都会算错。
本地部署大模型实战：14 台机器实测，决定能不能用的不是显存，是 KV cache、上下文和量化位宽
Ollama 一条命令不代表真能用。14 台主机、三类真实负载端到端实测：7B 到 32B 量化精度曲线、长文档下 KV cache 的显存占用、Mac 与 NVIDIA 的分界，以及什么时候该从 Ollama 换 vLLM。显存只决定能不能进，后三项决定跑不跑得动。
本地部署量化实测：Q4 是免费的吗？数字能力坏了 10.6 分
两周连续压测 Qwen2.5-32B 与 Llama-3.3-70B 在 FP16、Q8、Q5、Q4 四档量化下的质量损耗与推理成本：Q8 几乎无损，是本地部署默认起点；Q4 通用题只掉 2.3 分，数字算术却暴跌 10.6 分，小模型碰 2 比特是断崖不是斜坡。附能力图谱测试法与并发压测避坑指南。
模型量化部署横评：AWQ、GPTQ与GGUF的44组实测，70B模型4bit退化4.8%
同一张A100上完成44组权重量化实测：7B模型4bit几乎无损，70B模型长文摘要退化8.7%，而PPL只涨0.14。附显存速查表、三条部署路线的延迟成本账本，以及34B 4bit优于13B全精度的完整证据链。