llama.cpp是运行本地LLM最流行的C++实现。这些优化技巧可以让推理速度翻倍。

💡 你将学到

llama.cpp是运行本地LLM最流行的C++实现。这些优化技巧可以让推理速度翻倍。

📜 目录

• 最重要的优化：量化
• CPU 优化
• 线程数
• 内存带宽至关重要
• GPU 加速
• NVIDIA CUDA
• AMD ROCm / Apple Metal / Intel
• 高级参数
• 服务器模式
• 实际基准测试
• 我的优化顺序
• 常见问题
• 相关文章

llama.cpp 优化技巧：加速 CPU 和 GPU 上的本地 LLM 推理

llama.cpp（GitHub 星标 76K）是在本地运行 LLM 的黄金标准。以下是一些真正有效的优化技巧。

最重要的优化：量化

Q4_K_M 是最佳平衡点。 体积缩小 75%，速度快 2 倍，质量损失几乎不可察觉。

CPU 优化

线程数

# 自动检测或设置为物理核心数
./llama-cli -m model.q4_k_m.gguf -p "Hello" -t 0

将 -t 设置为物理核心数，而非逻辑线程数。

内存带宽至关重要

• DDR4-3200：~25 GB/s → 7B Q4 约 3 tok/s
• DDR5-6000：~50 GB/s → 约 6 tok/s
• Apple M1/M2：~100 GB/s → 约 12 tok/s

GPU 加速

NVIDIA CUDA

cmake -B build -DLLAMA_CUDA=ON
cmake --build build --config Release
./llama-cli -m model.q4_k_m.gguf -ngl 99

-ngl 99 将所有层放到 GPU 上。如需部分卸载：-ngl 24。

AMD ROCm / Apple Metal / Intel

# AMD
cmake -B build -DLLAMA_HIPBLAS=ON
# Apple
cmake -B build -DLLAMA_METAL=ON

高级参数

服务器模式

./llama-server -m model.q4_k_m.gguf --host 0.0.0.0 --port 8080 -ngl 99 --parallel 4 --cont-batching

API 地址：http://localhost:8080/v1/chat/completions（兼容 OpenAI）。

实际基准测试

我的优化顺序

1. 选择 Q4_K_M 量化
2. 如果显存允许，使用 GPU 并设置 -ngl 99
3. 将线程数设置为物理核心数
4. 启用 mlock
5. 服务器模式：添加 --cont-batching --parallel 4

常见问题

问：llama.cpp 比 Ollama 快吗？ 答：速度相同——Ollama 底层使用的就是 llama.cpp。

问：可以运行 HuggingFace 上的 GGUF 模型吗？ 答：可以。

问：运行 70B Q4 的最低内存要求？ 答：约 42GB 模型 + 8GB 上下文 = 最低 50GB。

相关文章

• 2026年本地运行Llama：llama.cpp（12.3万星）完整指南，从下载GGUF到任意硬件上聊天
• llama.cpp 2026指南：在任何硬件上运行LLM的完整教程
• Web LLM（1.9万星）浏览器端推理2026：直接在浏览器里跑Llama和Qwen

❓ 常见问题

问：llama.cpp 比 Ollama 快吗？

答：速度相同——Ollama 底层使用的就是 llama.cpp。

问：运行 70B Q4 的最低内存要求？

答：约 42GB 模型 + 8GB 上下文 = 最低 50GB。