LLM量化类型详解2026：Q4、Q5、Q8各档GGUF的代价
下载页列着Q2_K到Q8_0一堆文件，体积差三倍，质量差多少却没人说清。这篇把每档的代价摊开算。
📜 目录
LLM量化类型详解2026：Q4、Q5、Q8各档GGUF的代价
量化是把模型权重用更少的比特存下来：16 位浮点变成 8 位、4 位甚至 2 位。一个 70B 模型用 FP16 存要一百多 GB，4 位只要四十 GB 上下。代价是精度损失，技术活在于把损失放在不重要的地方。这篇讲清各档的实际代价，以及怎么选。
一、比特数到底省了什么
粗略公式：模型体积 ≈ 参数量 × 每权重比特数 ÷ 8。
一个 8B 模型，FP16 是 16 bit，理论 16GB；用 4 bit 权重，理论 4GB 多一点。实际 GGUF 文件会比理论值略大，因为还有嵌入层、输出层和量化元数据，这些部分往往保留更高精度。
二、各档对照表
| 类型 | 大致比特/权重 | 相对FP16体积 | 质量预期 | 什么时候用 |
|---|---|---|---|---|
| Q2_K | 约2.5-3 | 约18%-20% | 明显变差，长回答容易跑题 | 只在不装不行时 |
| Q3_K_M | 约3.5 | 约24%-26% | 小模型可用，大模型偏勉强 | 极限压缩 |
| Q4_0 | 4 | 约28% | 比Q4_K_M差一档 | 老设备兼容 |
| Q4_K_M | 约4.5 | 约33% | 2026年的默认甜点位 | 首选 |
| Q5_K_M | 约5.5 | 约40% | 多数任务接近无损 | 数学、代码、长推理 |
| Q6_K | 约6.6 | 约47% | 与FP16差距很小 | 追求稳定 |
| Q8_0 | 8 | 约62% | 基本无损 | 做基准、做对照 |
| FP16/BF16 | 16 | 100% | 参考线 | 训练、评测基线 |
具体体积比例随模型结构变化，同一个模型的不同档位之间才可比。下载前看文件大小最准。
三、文件名怎么读
以 Qwen3-8B-Q4_K_M.gguf 为例：
- Q4：权重约 4 比特一档
- K：使用了 k-quant 的改进分块布局，比老的 Q4_0 在同样体积下质量更好
- _M：medium，中等混合比例；_S 更激进（更小更差），_L 更贴近原版（更大更好）
- 文件名里出现
imatrix或IQ，说明用了重要性矩阵校准，同体积下通常质量更好
所以 Q4_K_M 和 Q4_K_S 不是同一个东西，前者体积略大、质量略好。挑文件时优先选带 K 且带 M 的。
四、质量损失的真实量级
常见的评测结论是：Q4_K_M 相对 FP16 在通用基准上通常只掉一点，很多任务落在测量噪声范围内；Q5_K_M 和 Q6_K 的差距更小；Q2_K 的损失则经常是肉眼可见的，长回答开始重复、逻辑链断、指令遵循变差。
但这条经验有明确的例外：数学、代码、需要多步推理的任务对量化更敏感。同一档量化在闲聊里毫无感觉，在解方程和写复杂函数时可能明显出错。模型越小越不抗压，3B 模型压到 Q3 基本不能看。
所以别信任何"某档无损"的绝对说法，正确做法是拿你自己的提示词测。
怎么判断某档已经不够用
不用跑基准测试，看输出症状就够。出现下面任意一条，说明量化过度了：
- 长回答到后半段开始重复同一句话，或者绕回已经说过的内容。
- 指令里的"不要做某事"被忽略，模型仍然做了。
- 代码里变量名一致、但逻辑分支写反了，或者漏掉边界条件。
- 数字计算出现离谱结果，而同题在更高档位能算对。
- 中文输出突然出现不自然的用词，像机器翻译。
对应的处理顺序是：先升一档量化，还不行就换更大的模型，最后才考虑换供应商的微调版本。升档往往比换模型便宜得多。
五、量化省的是显存，不一定省时间
这一点最容易被误解。量化让权重变小，加载更快、占用更少，但生成速度受内存带宽限制——每生成一个 token 都要把权重流一遍。4 位比 8 位少流一半数据，理论上更快，实际却要加上反量化的计算开销，所以在部分硬件上 Q4 和 Q8 的速度差没有体积差那么大，有时甚至接近。
换句话说：量化首先买的是"装得下"，其次才是"跑得快"。
六、显存账本：一个 70B 的例子
70B 模型，FP16 权重约 140GB，Q4 约 40GB，Q8 约 87GB。这还没算 KV 缓存。上下文越长，KV 缓存越大，8K 上下文吃几个 GB 很正常。所以判断能不能跑，看的是权重加缓存加运行时开销的总和，不是单个文件大小。
七、怎么选：四条规则
- 默认 Q4_K_M。绝大多数场景下它的性价比最好。
- 数学、代码、长链推理，或者模型本身只有 3B-7B，往上走一档到 Q5_K_M 或 Q6_K。
- 只有装不下才降档。降到 Q3 以下要接受质量明显下降，通常不如换个更小的模型。
- 做对照实验时用 Q8_0。要判断某个效果是不是量化造成的，拿 Q8 做基线最干净。
八、自己做一次 A/B
准备 20 条你真实会问的提示词，覆盖简单问答、长文总结、代码、多步推理四类。同一个模型下两个档位，固定 temperature 和 seed，逐条对比输出。看三件事：事实有没有错、格式有没有崩、回答有没有变短变敷衍。二十分钟能得出比任何评测榜都可靠的结论。
常见问题
Q：量化会影响中文能力吗？ A：会，但通常比英文更晚出问题。中文 token 分布更分散，低比特量化时容易出现用词怪异。中文为主的话不建议低于 Q4。
Q：IQ 系列和 Q 系列哪个好？ A：IQ 用重要性矩阵做非均匀量化，同体积下一般更好，代价是量化过程更复杂、部分老版本加载器不支持。装得下就选 IQ4_XS 之类，装不下再说。
Q：为什么同样的 Q4_K_M，不同发布者的文件大小不一样？ A：有的把嵌入层也量化了，有的保留 FP16；有的做了 imatrix 校准。看发布说明，别只看档位名。
Q：量化模型能再量化回去吗？ A：不能。量化是有损压缩，从小档位恢复到大档位不会找回精度，只会让文件变大。
注：各档的实际比特数、体积比例与质量表现随量化工具版本和模型结构变化，具体以官方文档和你自己的实测为准。
相关文章
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。