模型量化入门：GGUF/GPTQ/AWQ三种量化方式该怎么选？

量化是什么？

量化就是把模型参数从高精度（如float16）压缩到低精度（如int4）。原理很简单：不是每个参数都需要32位精度来存储，压缩后模型小一半，速度翻倍，精度损失通常不到5%。

三种量化方式对比

GGUF — CPU推理的首选

GGUF是llama.cpp用的格式，也是唯一能在CPU上高效跑大模型的量化方式。

优势： 不需要GPU，普通电脑就能跑 劣势： 速度比GPU慢，大模型（>13B）CPU跑不动

GPTQ — GPU推理的标配

GPTQ是目前最广泛的GPU量化方式。HuggingFace上大部分量化模型都是GPTQ格式。

优势： 速度快，支持批量推理 劣势： 需要CUDA环境

AWQ — 精度最好的量化

AWQ是目前精度损失最小的量化方式。它根据每个参数的重要性动态调整量化粒度。

优势： 精度损失最小（<1%） 劣势： 工具链不如GGUF/GPTQ成熟

选型建议

总结

CPU跑量化用GGUF，GPU快速部署用GPTQ，追求质量用AWQ。 大部分场景GPTQ 4bit是性价比最高的选择——速度够快、精度够好、工具链最成熟。