本地运行Ollama的硬件要求:内存、显卡、CPU

📘 AI教程 2026-08-01 约 4 分钟阅读

2026年Ollama的真实硬件要求,按模型大小给出显存和内存数字。

本地运行Ollama的硬件要求

黄金公式:模型大小(GB) = 参数量(B) x 每权重字节。4-bit量化下7B模型约4-5GB,加1-2GB上下文开销。

按模型:3B约2GB(6-8GB内存可跑)、7B约4-5GB(8GB显存或16GB内存,甜点区)、13B约8GB(16GB显存)、32B约19GB、70B约40GB。

GPU(CUDA)最快:RTX 4060跑7B Q4达30-50 t/s;纯CPU 4-8 t/s;Apple Silicon 16GB跑13B Q4达15-25 t/s。上下文也吃内存:128k上下文会显著增加占用。

相关文章
2026-07-14
2026本地大模型部署指南:Windows/Mac/Linux运行AI模型
2026-07-13
用Docker本地运行Ollama:2026完整部署指南
2026-07-14
2026开源大模型基准测试对比:Llama 3.1 vs Qwen 2.5 vs Mistral vs Phi-3

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论