投机解码2026：草稿模型如何让LLM快2-3倍

LLM生成是串行的——一次一个token，所以慢。投机解码打破了这个假设，能拿到2-3倍提速。它怎么工作？什么时候真划算？

💡 你将学到

LLM生成是串行的——一次一个token，所以慢。投机解码打破了这个假设，能拿到2-3倍提速。它怎么工作？什么时候真划算？

每个token都依赖前一个，所以生成无法直接并行。投机解码用一个赌注绕过这个限制，三步：小草稿模型快速提议接下来4-8个token；大模型用一次并行pass校验全部提议；接受的token免费（一次大模型pass换好几个token），第一个被拒的token被纠正后继续。大模型并行校验，串行步数大幅下降，草稿对的时候你就赢了。关键数字：匹配良好的草稿模型接受率60-80%；消费级GPU典型提速1.5-3倍；草稿模型必须小（1B以内）否则草稿成本吃掉收益。最适合：长生成（token越多节省越复利）、代码和结构化输出（可预测token接受率高）、本地单用户推理（llama.cpp支持小GGUF草稿，Medusa 3.6万星是流行的草稿头方案）、批处理服务（vLLM 8.9万星原生支持）。不适用：超短回答、草稿质量远低于目标模型、显存紧张（现在要加载两个模型）。llama.cpp里一个参数启用：-m主模型加--model-draft草稿模型。2026年投机解码已是llama.cpp、vLLM、SGLang（3.2万星）的默认功能，一个flag的事，不再是黑科技，而是把闲置算力花在延迟上的标准方式。

相关文章

• 2026年本地运行Llama：llama.cpp（12.3万星）完整指南，从下载GGUF到任意硬件上聊天
• llama.cpp优化技巧：在CPU和GPU上加速本地LLM推理
• Web LLM（1.9万星）浏览器端推理2026：直接在浏览器里跑Llama和Qwen