模型量化入门：GGUF/GPTQ/AWQ三种量化方式该怎么选？

量化让大模型能在消费级显卡上跑。GGUF、GPTQ、AWQ三种主流方式，选哪个取决于你的使用场景。

💡 你将学到

量化让大模型能在消费级显卡上跑。GGUF、GPTQ、AWQ三种主流方式，选哪个取决于你的使用场景。

📜 目录

• 量化是什么？
• 三种量化方式对比
• GGUF — CPU推理的首选
• GPTQ — GPU推理的标配
• AWQ — 精度最好的量化
• 选型建议
• 总结
• 相关文章

量化是什么？

量化就是把模型参数从高精度（如float16）压缩到低精度（如int4）。原理很简单：不是每个参数都需要32位精度来存储，压缩后模型小一半，速度翻倍，精度损失通常不到5%。

三种量化方式对比

GGUF — CPU推理的首选

GGUF是llama.cpp用的格式，也是唯一能在CPU上高效跑大模型的量化方式。

优势： 不需要GPU，普通电脑就能跑 劣势： 速度比GPU慢，大模型（>13B）CPU跑不动

GPTQ — GPU推理的标配

GPTQ是目前最广泛的GPU量化方式。HuggingFace上大部分量化模型都是GPTQ格式。

优势： 速度快，支持批量推理 劣势： 需要CUDA环境

AWQ — 精度最好的量化

AWQ是目前精度损失最小的量化方式。它根据每个参数的重要性动态调整量化粒度。

优势： 精度损失最小（<1%） 劣势： 工具链不如GGUF/GPTQ成熟

选型建议

总结

CPU跑量化用GGUF，GPU快速部署用GPTQ，追求质量用AWQ。 大部分场景GPTQ 4bit是性价比最高的选择——速度够快、精度够好、工具链最成熟。

相关文章

• llama.cpp优化技巧：在CPU和GPU上加速本地LLM推理
• GGUF vs AWQ vs GPTQ：2026年大模型量化对比
• 2026年本地运行Llama：llama.cpp（12.3万星）完整指南，从下载GGUF到任意硬件上聊天