本地LLM硬件指南2026：到底需要多少内存和显存

每篇本地LLM指南都说要个大显卡，但实际需求随模型大小、量化、CPU还是GPU差出20倍。这里是诚实的算法。

💡 你将学到

每篇本地LLM指南都说要个大显卡，但实际需求随模型大小、量化、CPU还是GPU差出20倍。这里是诚实的算法。

本地LLM一条公式：所需内存约等于模型权重加KV缓存加开销。权重=参数x位数/8，7B模型4位约3.5GB、8位约7GB；KV缓存随上下文增长（8k-32k常吃1-4GB）；开销0.5-1GB。2026硬件表：1-3B Q4要2-4GB，任何现代笔记本CPU就能跑；7-8B Q4要5-8GB，8GB显卡或16GB内存CPU；13-14B Q4要9-12GB，12-16GB显卡；32B Q4要20-24GB，24GB显卡（3090/4090级）；70B Q4要40-48GB，双24GB或M系列Max/Ultra。GPU快10-50倍但显存贵且固定；CPU慢但内存便宜，64GB机器能跑消费级显卡装不下的32B；混合方案llama.cpp/Ollama把部分层卸载到GPU其余留内存，12GB显卡加32GB内存能愉快跑32B。Apple统一内存是亮点：64GB的M系列跑32B-70B Q4加Metal加速，比同级别x86快2-3倍，2026年本地LLM性价比之王。购买决策：先定模型级别（7B/32B/70B）再谈别的；内存比算力核重要；量化是免费升级（Q4比Q8省一半）；笔记本32GB统一内存舒服跑7B-14B；台式机24GB显卡是32B甜点位。最简起步：手头有什么用什么，8GB机器今天就能跑1.5-3B Q4，够做抽取和摘要，真需要更大模型时再升级。