多模态大模型正在从“云端 API 调用”走向端侧私有部署。对于需要处理合同扫描、医疗影像、监控截图等敏感图像的企业，本地多模态模型既解决了数据隐私问题，又能降低长期 API 成本。本文在 MacBook Pro M2 Max、RTX 4090 与 RTX 3060 三台机器上，实测 LLaVA 1.6、MiniCPM-V 2.6 与 Moondream 1.8B 的真实表现。
1. 测试环境与量化指标
- MacBook Pro M2 Max：32GB 统一内存，Metal 加速；
- RTX 4090：24GB GDDR6X，CUDA 12；
- RTX 3060：12GB GDDR6，CUDA 12。
测试任务：图像描述生成（COCO 样本）、OCR+推理（发票截图）、视觉问答（图表理解）。记录：首 token 延迟、吞吐量（tokens/s）、显存/统一内存占用。
2. LLaVA 1.6 7B：综合能力最均衡
LLaVA 1.6 在图像描述与图表理解上表现最佳，COCO 描述生成 BLEU-4 得分 38.2，高于另外两款模型。在 RTX 4090 上，7B 模型仅占用 10.2GB 显存，推理速度 42 tokens/s；Mac M2 Max 上约 18 tokens/s，完全可以接受。
缺点是模型体积较大（7B 参数约 13GB），12GB 显存的 RTX 3060 需开启 4-bit 量化才能运行，此时准确率下降约 6%。
3. MiniCPM-V 2.6：中文 OCR 与知识问答最强
MiniCPM-V 2.6 是清华系模型，对中文场景、表格识别、数学公式的理解远超 LLaVA。在发票 OCR 任务中，MiniCPM-V 的关键信息提取准确率 94%，LLaVA 为 86%。
模型仅 8B 参数，INT4 量化后约 5GB，在 RTX 3060 上即可流畅运行（28 tokens/s）。对需要本地处理中文合同、报销单的团队，MiniCPM-V 是性价比最高的选择。
4. Moondream 1.8B：极致轻量，边缘设备可用
Moondream 1.8B 仅 1.8B 参数，量化后不到 2GB，甚至能在 Raspberry Pi 5 上运行（约 3-5 tokens/s）。虽然综合准确率最低，但作为“端侧预处理”或“低成本批量打标”工具极具价值。
Mac M2 Max 上速度可达 65 tokens/s，适合在笔记本上快速验证图像内容。
5. 部署方式：Ollama vs vLLM vs llama.cpp
| 部署工具 | 支持模型 | Mac 兼容 | 量化支持 | 易用性 |
|---|---|---|---|---|
| Ollama | LLaVA, MiniCPM-V, Moondream | ★ ★ ★ ★ ★ | Q4/Q5/Q8 | ★ ★ ★ ★ ★ |
| vLLM | LLaVA, Moondream | 实验性 | AWQ/GPTQ | ★ ★ ★ ★ |
| llama.cpp | Moondream, LLaVA (GGUF) | ★ ★ ★ ★ ★ | Q2-Q8 | ★ ★ ★ ★ |
对大多数用户，Ollama 是最省心的选择：一行命令即可拉取并运行 LLaVA 或 MiniCPM-V，支持 OpenAI 兼容 API，前端无缝接入。
6. 选型决策树
追求最强综合能力 → LLaVA 1.6 7B（需 16GB+ 显存/内存）
中文 OCR + 合同处理 → MiniCPM-V 2.6（8GB 显存即可）
边缘设备或批量打标 → Moondream 1.8B（2GB 显存即可）
多模态模型的本地部署已进入“消费级硬件可用”阶段。你的下一阶段视觉 AI 任务，或许根本不需要调用云端 API。
7. 互动讨论
你是否已经在本地部署过多模态模型？在图像理解任务中，你最看重准确率还是推理速度？欢迎分享你的 benchmark 数据。
— IMAI 编辑部 | 2026-09-23