本地LLM硬件指南2026：到底需要多少内存和显存
每篇本地LLM指南都说要买大显卡，但真实需求随模型大小、量化和CPU/GPU方案差出二十倍。这里给能自己算的公式。
📜 目录
本地LLM硬件指南2026：到底需要多少内存和显存
买硬件前最该做的一件事是算账，而不是看评测。本地跑模型需要多少内存，可以用一条公式估出来，误差通常在一两 GB 以内，足够做购买决策。
一、一条公式
所需内存 ≈ 权重 + KV缓存 + 运行时开销
- 权重 = 参数量 × 每权重比特数 ÷ 8
- KV缓存 随上下文长度线性增长，长上下文时能到几个 GB
- 运行时开销 通常 0.5-1.5GB，视框架而定
举例：8B 模型用 4 位量化，权重约 4GB，8K 上下文的 KV 缓存可能占 1-2GB，开销 1GB，合计 6-7GB。所以一台 8GB 显存的机器能跑，但余量不多。
二、KV缓存怎么估
粗略公式：
KV ≈ 2 × 层数 × KV头数 × 头维度 × 序列长度 × 每元素字节数
FP16 是 2 字节，量化到 8 位是 1 字节。变量太多记不住的话，用经验值：8B 级模型在 8K 上下文下，FP16 的 KV 缓存大致 1-2GB；32K 就翻到 4-8GB；70B 级模型同比例再乘几倍。
这也解释了为什么"能装下权重"不等于"能跑长上下文"。很多人买完卡发现长文档一放就 OOM，问题就在缓存上。
三、模型规模与量化对照
| 模型规模 | Q4权重 | 建议总内存 | 典型硬件 |
|---|---|---|---|
| 1-3B | 1-2GB | 4GB | 任何现代笔记本 |
| 7-8B | 4-5GB | 8-10GB | 8GB显卡或16GB内存 |
| 13-14B | 8-9GB | 12-16GB | 12-16GB显卡 |
| 32B | 18-20GB | 24GB | 24GB显卡 |
| 70B | 40GB | 48GB+ | 双卡或统一内存大机 |
表里的"建议总内存"已经含了缓存和开销。如果只按权重买，一定会卡在长上下文上。
四、GPU、CPU、统一内存三条路
独立显卡：生成速度快一个量级，但显存容量固定且昂贵。适合要交互体验的场景。
纯CPU加内存：速度慢，但内存便宜且可以堆很大。64GB 内存的机器能跑消费级显卡装不下的 32B 模型，代价是速度掉到个位数 token/秒。适合批处理和隐私场景。
混合卸载：llama.cpp 和 Ollama 支持把部分层放显卡、其余留内存。这是性价比最高的折中——12GB 显卡加 32GB 内存，能跑 32B 模型，速度介于两者之间。-ngl 参数控制卸载层数，从高往低试，直到不 OOM。
Apple 统一内存：M 系列把内存和 GPU 共享，64GB 配置能跑 32B 到 70B 的量化模型，配合 Metal 加速在同功耗下表现突出。它的限制是内存带宽低于高端独显，超长上下文和大批量推理仍然吃亏。
五、带宽比算力更关键
生成阶段是内存带宽密集的：每 token 要把权重读一遍。所以选硬件时看带宽往往比看算力更准。
粗略估算每秒 token 上限：带宽 ÷ 权重体积。举例，权重 4GB、带宽 400GB/s，理论上限约 100 token/秒，实际能到一半左右就算不错。这个估算能帮你判断某张卡值不值。
六、买之前的三个测试
- 量你现在实际能跑什么：
ollama ps看模型有没有部分退回 CPU，退回说明显存不够。 - 测长上下文：同一模型分别用 2K 和 16K 上下文跑一次，看是否 OOM 或明显变慢。这才是真实瓶颈。
- 测你的真实提示词：别用"你好"测速度，用你实际会发的长提示词，预填充时间才是体感。
七、三档预算的配置思路
不写具体价格，因为地区差异太大，以当地报价为准：
- 入门档：先用手上的机器，8GB 内存跑 1.5-3B Q4，够做抽取、分类、短摘要。这一档的目标是验证需求，不是追求质量。
- 主力档：16GB 内存或 8-12GB 显存，跑 7-8B Q4。这是 2026 年最实用的配置，覆盖大部分个人使用。
- 进阶档：24GB 显存或 32-64GB 统一内存，跑 14B-32B。适合代码、长文档和本地 Agent。
升级顺序建议是内存/显存容量优先，带宽次之，算力最后。容量不够直接跑不起来，带宽决定速度，算力在生成阶段反而是次要的。
八、什么时候云GPU更划算
本地硬件不是所有场景的最优解。判断依据很直接：使用频率。
一周只跑两三次、每次一两个小时，租云 GPU 往往比买卡便宜，尤其是需要 24GB 以上显存的场景。反过来，每天都要用，租用成本几个月就会追平硬件，而且本地没有上传下载数据的麻烦。
还要算两笔隐性成本。一是数据：把敏感数据传到云上需要评估合规风险。二是时间：租机器意味着每次要重新装环境、拉模型，除非做镜像持久化。这两笔成本在比较价格时经常被忽略。
比较务实的组合是：本地配一张中等显存的卡跑日常，遇到需要大显存的任务临时租用。这样既能保证日常响应速度，又不用为偶尔的峰值需求买单。
常见问题
Q：显存和内存有什么区别，能不能互相顶替？ A：显存带宽高但容量小，内存容量大但慢。显存不够时可以卸载部分层到内存，速度会掉，但能跑起来。
Q：笔记本能跑14B吗？ A：16GB 统一内存的轻薄本能跑 14B 的 4 位量化，速度大约个位数 token/秒。32GB 配置会舒服很多。
Q：多卡能不能叠加显存？ A：能，但需要模型切分支持，消费级多卡的通信开销常吃掉收益。单张大显存卡通常更省心。
Q：为什么我的机器跑分很高但模型很慢？ A：跑分测的是算力，生成测的是带宽。另外检查是不是模型被换页到磁盘、是不是线程数设错。
Q：需要买专业卡吗？ A：个人使用不需要。专业卡的价值在稳定性和大显存，对单人推理的性价比不高。
注：内存需求随模型结构、量化工具和上下文长度变化，表中的数值为估算区间，请以你自己的实测为准。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。