标题：谷歌放出Gemma 4 QAT量化版！26B模型仅需15GB内存，精度几乎无损
🩺 摘要
标题：谷歌放出Gemma 4 QAT量化版！26B模型仅需15GB内存，精度几乎无损 今天说个让本地部署党狂喜的消息。 Google DeepMind 刚刚在 Hugging Face 上发布了 Gemma 4 全系列 QAT（Quantization-Aware Training）量化版本，从
📝 详情
标题：谷歌放出Gemma 4 QAT量化版！26B模型仅需15GB内存，精度几乎无损
今天说个让本地部署党狂喜的消息。
Google DeepMind 刚刚在 Hugging Face 上发布了 Gemma 4 全系列 QAT（Quantization-Aware Training）量化版本，从最小的 E2B 到最大的 31B，一口气全部给量化优化了。
更劲爆的是，Unsloth 团队连夜搞出了 GGUF 版本，把大模型量化这件事玩出了新高度。
我来拆解一下，这波到底有什么料。
01. 72%显存暴砍，但精度几乎没掉
先看数字，比什么都震撼。
Gemma 4 原版 BF16 下，31B 模型需要 58GB 显存才能跑，26B MoE 也要将近 50GB。一般玩家手里那点显存，别说跑了，加载都不够。
QAT 版本出来后，情况直接变了天：
- E2B（2B参数） → 只需 3GB 内存，手机都能跑
- E4B（4B参数） → 只需 5GB 内存，平板级设备搞定
- 12B → 只需 7GB 内存
- 26B-A4B（MoE架构） → 只需 15GB 内存，4060就能盘
- 31B → 只需 18GB 内存
你没看错，26B的MoE模型，15GB就能跑。这比我16G的4060 Ti内存还少，也就是说我这卡都能本地跑了。
关键是，这个压缩不是把精度砍废了换来的。QAT 的核心思路是：训练阶段就把量化考虑进去，让模型在低精度下也能保持高精度表现。最终结果是显存暴砍 72%，但精度接近 BF16 原版水平。
02. Unsloth才是真·幕后英雄
如果只是官方出个 QAT 权重，那还不算完。真正让这件事疯起来的，是 Unsloth 团队的动态量化方案。
他们搞了个骚操作：一般社区量化用 Naive Q4_0 直接转，精度掉得很惨。拿 26B 模型举例，Naive Q4_0 的 Top-1 准确率只有 70.2%，基本就是"缩水版"了。
而 Unsloth 用他们的"动态方法"，强制量化后的权重跟 BF16 QAT 的原始分布对齐。结果：
- 26B 模型 Top-1 准确率冲到 85.6%，比 Naive 方案 高出 15.6%
- 文件体积反而更小，比 Naive Q4_0 还小 200MB
- E2B 模型的 KLD（分布差异）比 Naive 好 29倍，同时体积还小了 22%
翻译成人话就是：Unsloth 不仅把模型压得更小，还让它比普通量化聪明得多。
而且他们只推荐一个量化类型：UD-Q4_K_XL。别的类型（Q6_K、Q8_0 之类）反而会降低精度，不需要试。
03. 手机也能跑大模型？Mobile Mixture 来了
这次还有个有意思的东西——Mobile Mixture QAT。
专门为 E2B 和 E4B 做的极致压缩版，把部分层降到了 2-bit（TQ2_0）：
- E2B 压到 2.19GB，61个张量都是 2-bit 的（包含深层的 MLP）
- E4B 压到 3.22GB
- 精度几乎没掉：E2B 的 Top-1 准确率 97.82%，E4B 更是 98.76%
2GB 跑一个多模态模型，这在去年想都不敢想。现在 Google 直接把门槛干到了手机和边缘设备级别。
这对普通人意味着什么？
本地 AI 跑大模型的成本，被打到了地板价。
以前想跑个能用的开源模型，没张 24GB 的显卡都不好意思开口。现在一张 RTX 4060（8GB显存+系统内存共享到16GB）就能跑 26B 的 MoE 模型。
更别说 E2B/E4B 这种版本，手机、树莓派、笔记本全能上。
部署教程也简单——Unsloth Studio 一行命令就装好，或者用 llama.cpp 下载 GGUF 文件直接跑，hf download 拉下来就开整。
说两句个人看法
Google DeepMind 这波操作，我愿称之为"降维打击开源生态"。
Gemma 4 本身就是 Apache 2.0 完全免费商用，性能跟 Llama 4 同级别甚至更强。现在加上 QAT 量化，把硬件门槛削到普通消费者装备能玩的程度。
对比一下：Llama 4 到今天还没出官方的量化训练版本，社区用量化做完了也只能凑合用。而 Google 直接官方训练时就做了量化感知，配合 Unsloth 这种最会优化的社区团队，"官方出权重重 + 社区出格式 + 一步到位"的闭环就形成了。
唯一的问题：你的硬盘够大吗？ 五个模型全下下来，快 50GB 了（笑）。
你们会拿 Gemma 4 QAT 来跑什么？本地 Agent、代码助手，还是搞点别的？评论区说说看，我看看有没有什么好玩的玩法。
标题：谷歌放出Gemma 4 QAT量化版！26B模型仅需15GB内存，精度几乎无损
今天说个让本地部署党狂喜的消息。
Google DeepMind 刚刚在 Hugging Face 上发布了 Gemma 4 全系列 QAT（Quantization-Aware Training）量化版本，从最小的 E2B 到最大的 31B，一口气全部给量化优化了。
更劲爆的是，Unsloth 团队连夜搞出了 GGUF 版本，把大模型量化这件事玩出了新高度。
我来拆解一下，这波到底有什么料。
01. 72%显存暴砍，但精度几乎没掉
先看数字，比什么都震撼。
Gemma 4 原版 BF16 下，31B 模型需要 58GB 显存才能跑，26B MoE 也要将近 50GB。一般玩家手里那点显存，别说跑了，加载都不够。
QAT 版本出来后，情况直接变了天：
- E2B（2B参数） → 只需 3GB 内存，手机都能跑
- E4B（4B参数） → 只需 5GB 内存，平板级设备搞定
- 12B → 只需 7GB 内存
- 26B-A4B（MoE架构） → 只需 15GB 内存，4060就能盘
- 31B → 只需 18GB 内存
你没看错，26B的MoE模型，15GB就能跑。这比我16G的4060 Ti内存还少，也就是说我这卡都能本地跑了。
关键是，这个压缩不是把精度砍废了换来的。QAT 的核心思路是：训练阶段就把量化考虑进去，让模型在低精度下也能保持高精度表现。最终结果是显存暴砍 72%，但精度接近 BF16 原版水平。
02. Unsloth才是真·幕后英雄
如果只是官方出个 QAT 权重，那还不算完。真正让这件事疯起来的，是 Unsloth 团队的动态量化方案。
他们搞了个骚操作：一般社区量化用 Naive Q4_0 直接转，精度掉得很惨。拿 26B 模型举例，Naive Q4_0 的 Top-1 准确率只有 70.2%，基本就是"缩水版"了。
而 Unsloth 用他们的"动态方法"，强制量化后的权重跟 BF16 QAT 的原始分布对齐。结果：
- 26B 模型 Top-1 准确率冲到 85.6%，比 Naive 方案 高出 15.6%
- 文件体积反而更小，比 Naive Q4_0 还小 200MB
- E2B 模型的 KLD（分布差异）比 Naive 好 29倍，同时体积还小了 22%
翻译成人话就是：Unsloth 不仅把模型压得更小，还让它比普通量化聪明得多。
而且他们只推荐一个量化类型：UD-Q4_K_XL。别的类型（Q6_K、Q8_0 之类）反而会降低精度，不需要试。
03. 手机也能跑大模型？Mobile Mixture 来了
这次还有个有意思的东西——Mobile Mixture QAT。
专门为 E2B 和 E4B 做的极致压缩版，把部分层降到了 2-bit（TQ2_0）：
- E2B 压到 2.19GB，61个张量都是 2-bit 的（包含深层的 MLP）
- E4B 压到 3.22GB
- 精度几乎没掉：E2B 的 Top-1 准确率 97.82%，E4B 更是 98.76%
2GB 跑一个多模态模型，这在去年想都不敢想。现在 Google 直接把门槛干到了手机和边缘设备级别。
这对普通人意味着什么？
本地 AI 跑大模型的成本，被打到了地板价。
以前想跑个能用的开源模型，没张 24GB 的显卡都不好意思开口。现在一张 RTX 4060（8GB显存+系统内存共享到16GB）就能跑 26B 的 MoE 模型。
更别说 E2B/E4B 这种版本，手机、树莓派、笔记本全能上。
部署教程也简单——Unsloth Studio 一行命令就装好，或者用 llama.cpp 下载 GGUF 文件直接跑，hf download 拉下来就开整。
说两句个人看法
Google DeepMind 这波操作，我愿称之为"降维打击开源生态"。
Gemma 4 本身就是 Apache 2.0 完全免费商用，性能跟 Llama 4 同级别甚至更强。现在加上 QAT 量化，把硬件门槛削到普通消费者装备能玩的程度。
对比一下：Llama 4 到今天还没出官方的量化训练版本，社区用量化做完了也只能凑合用。而 Google 直接官方训练时就做了量化感知，配合 Unsloth 这种最会优化的社区团队，"官方出权重重 + 社区出格式 + 一步到位"的闭环就形成了。
唯一的问题：你的硬盘够大吗？ 五个模型全下下来，快 50GB 了（笑）。
你们会拿 Gemma 4 QAT 来跑什么？本地 Agent、代码助手，还是搞点别的？评论区说说看，我看看有没有什么好玩的玩法。
💬 评论 (0)