KV cache 显存账:32B 开 32k,一个用户吃掉 8 GiB
按参数量估并发,一上卡就崩。装得下不等于挂得住,差别在 KV 头数。
📜 目录
按模型大小算显存是错的。两个 7B 模型,权重一样多,同一张卡,同样上下文:一个能同时挂 17 个 8k 对话,另一个只有 8 个。差别全在 KV cache,而 KV cache 取决于注意力头数,不取决于参数量。
下面每个数都是从模型自己的 config.json 和 Hugging Face 上的 safetensors 总字节算出来的,取数日期 2026 年 11 月 21 日。没有一个是厂商跑分。公式是 vLLM 和 Hugging Face 都用的那一条:2(K 和 V)× 层数 × KV 头数 × head_dim × 2 字节,按每个 token 算。
每个模型,一个 token 的上下文要多少显存
| 模型 | 层数 | KV 头 | head_dim | 每 token 的 KV | 8k,GiB | 32k,GiB | 权重 fp16,GiB |
|---|---|---|---|---|---|---|---|
| Qwen2.5-7B-Instruct | 28 | 4 | 128 | 56 KiB | 0.44 | 1.75 | 14.19 |
| Mistral-7B-Instruct-v0.3 | 32 | 8 | 128 | 128 KiB | 1.00 | 4.00 | 13.50 |
| Llama-3.1-8B-Instruct | 32 | 8 | 128 | 128 KiB | 1.00 | 4.00 | 14.96 |
| Gemma-2-9B-it | 42 | 8 | 256 | 336 KiB | 2.62 | n/a (8k cap) | 17.21 |
| Qwen2.5-14B-Instruct | 48 | 8 | 128 | 192 KiB | 1.50 | 6.00 | 27.51 |
| Mistral-Small-24B | 40 | 8 | 128 | 160 KiB | 1.25 | 5.00 | 43.91 |
| Qwen2.5-32B-Instruct | 64 | 8 | 128 | 256 KiB | 2.00 | 8.00 | 61.03 |
| Qwen3-32B | 64 | 8 | 128 | 256 KiB | 2.00 | 8.00 | 61.02 |
32k 那一列就是「一个对话要多少」。32B 开 32k,一个用户吃掉 8.00 GiB 缓存。四个人就是 32.00 GiB,比一张 24 GB 卡的全部容量还大,而且这里还没算权重。
两个 7B 差了 2.3 倍
Qwen2.5-7B-Instruct 的 num_key_value_heads 是 4,注意力头是 28。Mistral-7B-Instruct-v0.3 留了 8 个 KV 头对 32 个头。参数量差不到 5%,每 token 的缓存 56 KiB 对 128 KiB,差 2.3 倍。
这就是分组查询注意力的全部意义。权重该多少就是多少,缓存花多少由架构师当时定的 KV 头数决定。选模型做服务的时候,就这一个字段决定了你能卖多少并发。
有一个模型,隐藏维除以头数会算错
多数情况下 head_dim = hidden_size / num_attention_heads。Gemma-2-9B-it 不成立:隐藏维 3,584,16 个头,算出来 224,而 config 里写的是 head_dim: 256。按 224 算,每 token 得到 294 KiB,实际是 336 KiB,少算 12.5%。少算的结果就是下午三点模型突然报缓存不够。
能扛住真实 config 的规则:配置里有 head_dim 就用它,没有才退回 hidden_size / num_attention_heads。
一张 24 GB 卡到底能装几个对话
按常见 0.9 的占用上限,卡上有 21.6 GiB 可用。减掉 safetensors 里的 fp16 权重,剩下的除以每 token 开销,并发数就出来了:
| 模型 | 权重 | 留给缓存 | token 数 | 8k 并发 |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct | 14.19 GiB | 7.41 GiB | 138,839 | 16.9 |
| Mistral-7B-Instruct-v0.3 | 13.50 GiB | 8.10 GiB | 66,351 | 8.1 |
| Llama-3.1-8B-Instruct | 14.96 GiB | 6.64 GiB | 54,415 | 6.6 |
| Gemma-2-9B-it | 17.21 GiB | 4.39 GiB | 13,687 | 1.7 |
同一张卡,同一个上下文长度,一个挂 17 个对话,另一个不到 7 个。买卡的人比较「24 GB 卡跑 7B」,在有人说明是哪个 7B 之前,等于没比较。
32B 比权重看起来更紧。单张 80 GB 卡,0.9 占用剩 72 GiB,fp16 权重占 61.03 GiB,剩下 10.97 GiB 给缓存。按每 token 256 KiB 算,是 44,943 个 token,也就是 32k 上下文下 1.37 个并发对话。一张 H100 的可用显存,在 32B fp16 上几乎被一个 32k 会话填满,批处理还没轮到上场。
四个会改变结果的开关
fp8 缓存。 支持的硬件上,vLLM 的 --kv-cache-dtype fp8 会把上面所有数字减半。这是能买到的最便宜的并发,而且它是个参数,不是一笔采购。
上下文长度是上限,不是预占。 分页注意力按 token 到达分配块,所以一个闲置服务开 --max-model-len 32768 并不会先占住每个槽 8 GiB。表里说的是「跑满这么长要多少」,不是「空转时卡上还剩多少」。
0.9 不是永远的默认值。 vLLM 0.34.0 里,开了可扩展 KV cache(CUDA 和 ROCm 上的默认,按实测显存定大小)时解析出的值是 1.0,否则 0.92。缓存配置源码写得很清楚:除非有别的进程要抢这块显存,否则别手动设 gpu_memory_utilization。按 0.9 算是保守估计,不是引擎的真实行为。
张量并行不会白送缓存。 KV 头要切到各张卡上,两路切分让每卡缓存减半、每卡 token 数大致不变,权重也减半。变好的是总量,前提是 KV 头数能被卡数整除。8 个头分 4 张卡是每卡 2 个;8 个头分 3 张,除不尽,vLLM 会直接拒绝这个配置。
把你自己要部署的模型算一遍
config 里两个字段,safetensors 一个数,剩下都是算术。装了 huggingface_hub 就能跑:
from huggingface_hub import hf_hub_download, HfApi
import json
repo = "Qwen/Qwen2.5-7B-Instruct"
cfg = json.load(open(hf_hub_download(repo, "config.json")))
info = HfApi().model_info(repo)
layers = cfg["num_hidden_layers"]
heads = cfg["num_attention_heads"]
kv = cfg.get("num_key_value_heads", heads)
hd = cfg.get("head_dim") or cfg["hidden_size"] // heads
params = info.safetensors.total
per_token = 2 * layers * kv * hd * 2
weights_gib = params * 2 / 1024**3
print("KV per token: %.1f KiB" % (per_token / 1024))
print("weights: %.1f GiB" % weights_gib)
for ctx in (8192, 32768, 131072):
print(ctx, "%.2f GiB per conversation" % (per_token * ctx / 1024**3))
Qwen2.5-7B 上它会打出 56.0 KiB、14.2 GiB,以及 0.44 / 1.75 / 7.00 GiB。算出来和上面的表对不上,要么 config 变了,要么你选的 checkpoint 不一样,而真跑起来的是你选的那个。
这里没算的部分
激活值、CUDA graph、分页注意力的块表、分配器碎片,都要占显存,这份算术一个都没算。24 GB 卡上这块通常是 1 到 2 GiB,所以上面的并发数应当当上限看,拿去实测,不要直接当采购依据。装好模型跑一遍 nvidia-smi,跟估算值差多少,再决定能不能对客户承诺并发。
小卡上用 Ollama 做的实测版本,在 Ollama 跑 Docker 的显存账。缓存是什么、为什么按 token 涨,在 KV cache 讲清楚。装得下之后该选哪个引擎,对比在 vLLM 对 Ollama。
相关文章
本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。