一张显卡到八张显卡：本地 LLM 部署方案全指南

上篇文章做了 LM Studio vs Ollama vs vLLM 的功能对比，这篇解决一个更实际的问题：我的硬件配置能跑什么模型、用什么引擎、每秒能出多少个字？

我从最便宜的方案（没有显卡）到最贵的方案（8 卡服务器），逐一给出配置和预期效果。

前置知识：一张图看懂 LLM 推理需要什么

模型大小（量化后） vs 需要的显存：

Qwen2.5-0.5B (INT4) → 0.3GB     → 任何电脑都能跑
Qwen2.5-1.8B (INT4) → 1.0GB     → 集成显卡也能跑
Qwen2.5-7B  (Q4)    → 4.5GB     → RTX 3060 12GB ✅
Qwen2.5-14B (Q4)    → 8.5GB     → RTX 3090/4090 ✅
Qwen2.5-32B (Q4)    → 18GB      → RTX 4090 ×2 或 A100
Qwen2.5-72B (Q4)    → 40GB      → A100 ×2 或 H100
DeepSeek-V3 (Q4)    → 180GB     → 多卡 A100/H100

关键公式：模型参数量 × 量化精度 = 需要的显存 - FP16：每 1B 参数 = 2GB - INT8（Q8）：每 1B 参数 = 1GB - INT4（Q4）：每 1B 参数 = 0.5GB - 实际还要加上 ~1GB 的 KV Cache 和其他开销

方案 1：零显卡——只用 CPU 推理（预算 ¥0）

你没有独立显卡，或者你的显卡是 GTX 1060 这种老卡。完全用 CPU 跑大模型可行吗？可行，但速度感人。

推荐：Ollama + llama.cpp 后端

ollama pull qwen2.5:1.8b
ollama run qwen2.5:1.8b

现实建议：CPU 推理只推荐跑 3B 以下的模型。7B 模型虽然能跑，但每秒出 2-3 个字，还不如用 API。

最佳 CPU 推理配置

# 通过 OLLAMA_NUM_THREADS 指定用满所有核
OLLAMA_NUM_THREADS=16 ollama run qwen2.5:1.8b

# 或直接用 llama.cpp 手动优化
./llama-cli -m qwen2.5-1.8b-q4.gguf \
  -t 16 \            # 线程数
  -ngl 0 \           # 不用 GPU（0 = 纯 CPU）
  -c 2048 \          # 上下文长度
  --mlock            # 锁内存，避免 swap

方案 2：一张入门卡——RTX 3060 12GB / RTX 4060（预算 ¥2,000-3,000）

这是很多人的起步配置。12GB 显存能做的事情比想象中多。

推荐：Ollama（简单粗暴）

ollama pull qwen2.5:7b
ollama pull qwen2.5:7b:q4_0  # 量化版，更省显存

实测数据（RTX 3060 12GB）：

建议：7B 模型是这档显卡的甜点。14B 放不下，但 7B 的速度够用，质量也够好。

进阶：用 vLLM（如果你想做服务）

# 7B 模型在 12GB 显存上勉强能跑 vLLM
pip install vllm
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --max-model-len 4096 \
    --gpu-memory-utilization 0.85 \
    --dtype float16

单张 3060 跑 vLLM 的好处是并发能力比 Ollama 强 3-4 倍，但前提是你不做长上下文（控制在 4K 以内）。

方案 3：一张旗舰卡——RTX 4090 24GB（预算 ¥15,000-20,000）

24GB 显存是一个「质变点」：能跑 14B 模型，甚至能塞进 32B 的量化版。

推荐：Ollama（日常使用）+ vLLM（需要服务时）

# Ollama 日常跑
ollama pull qwen2.5:14b
ollama run qwen2.5:14b

# 如果觉得不够劲，试试 32B Q4
ollama pull qwen2.5:32b:q4_0

实测数据（RTX 4090 24GB）：

关键发现：一张 4090 的甜点是 14B 模型，32B 需要 AWQ 等高级量化才能塞进去，而且速度会降到 10-15 t/s。

vLLM 配置（4090 24GB）

# 14B 模型跑得飞起
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-14B-Instruct \
    --max-model-len 8192 \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.92 \
    --dtype bfloat16

预期性能：单请求 35 t/s，并发 8 请求 >2000 tokens/s 总吞吐。

方案 4：两张 4090——48GB 显存（预算 ¥30,000-40,000）

双卡方案是「性价比最高」的生产配置。48GB 显存能给 32B 模型充足的空间，甚至能跑 70B 的量化版。

# 两张卡用 vLLM 自动分配
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-32B-Instruct \
    --tensor-parallel-size 2 \
    --max-model-len 16384 \
    --gpu-memory-utilization 0.9 \
    --dtype bfloat16

提示：两张 4090 之间用 NVLink 桥连接（如果有的话）能提升 10-15% 的通信效率。但 Tensor Parallel（张量并行）在 PCIe 4.0 ×16 上表现也还行，差距不大。

NVLink vs No NVLink

没必要为了 NVLink 专门买桥接器——PCIe 4.0 够用。

方案 5：8 张 A100 / H100——企业级（预算 ¥200,000+）

到这一步你已经不关心个人预算了。目标是跑 DeepSeek-V3（671B MoE）这种级别的模型。

# 8×A100 跑 DeepSeek-V3（需要 180GB+ 显存）
python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3 \
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --dtype bfloat16 \
    --gpu-memory-utilization 0.9 \
    --trust-remote-code

企业级部署的注意点： - 网络：8 卡间建议 NVSwitch 或 InfiniBand（PCIe 4.0 ×16 在多卡间通信会成为瓶颈） - 吞吐：使用 --max-num-batched-tokens 调整批处理大小 - 监控：用 Prometheus + Grafana 看 GPU 利用率 - 高可用：部署多副本，用负载均衡（Nginx / Envoy）

方案速查表

最后的建议

别为了「跑更大的模型」去买更贵的显卡。 7B 模型在 2026 年的能力已经非常强了（看第一篇文章的对比），先把 7B 用起来，确认自己有持续使用 LLM 的需求，再考虑升级。

如果一定要给一个「通用最佳配置」，我的推荐是： - ¥0 方案：用 DeepSeek API（便宜，效果比本地 7B 好很多） - ¥2,000 方案：RTX 3060 12GB + Ollama + 7B 模型 - ¥16,000 方案：RTX 4090 + Ollama + 14B 模型

🔗 相关文章： DeepSeek V4 vs Qwen 2.5：两大开源模型全面对比