DeepMind开源DiffusionGemma:每秒1000token,推理提速4倍

📡 AI新闻 💬 发布者: leakey
DeepMind开源DiffusionGemma:每秒1000token,推理提速4倍

🩺 摘要

Google DeepMind 开源了 DiffusionGemma — 首个开源文本扩散大模型,Apache 2.0 协议,权重直挂 HuggingFace。H100 上每秒 1000+ tokens,比同等参数量的自回归模型快 4-5 倍。

📝 详情

Google DeepMind 丢出了一枚重磅炸弹——DiffusionGemma,首个开源的文本扩散大模型。Apache 2.0 协议,vLLM 当天就出了原生支持。架构上不是自回归的一个字一个字往外蹦,而是一次生成 256 个 token 的整块,先随机填满占位符,然后逐步去噪修正成通顺的文字。关键指标:26B 总参数量(每次激活 3.8B MoE),256K 上下文窗口,RTX 5090 跑 700+ tokens/s,量化后 18GB 显存。社区反应两极分化:正方认为这是本地推理的革命,反方指出质量比自回归版本弱一档,短文本输出反而慢。

DiffusionGemma 不会取代自回归模型——质量差距短期补不上。但本地推理的拐点真的来了。对于普通用户,本地就能跑飞快模型,不用再依赖云端 API。对于开发者,vLLM 原生支持,RTX 4090 终于能跑出云端的响应速度。Google 用 Apache 2.0 把文本扩散这条路摊开了,接下来半年到一年会有更多团队跟进。