KV cache 显存账:32B 开 32k,一个用户吃掉 8 GiB

📘 教程 2026-11-21 约 17 分钟阅读

按参数量估并发,一上卡就崩。装得下不等于挂得住,差别在 KV 头数。

📜 目录

按模型大小算显存是错的。两个 7B 模型,权重一样多,同一张卡,同样上下文:一个能同时挂 17 个 8k 对话,另一个只有 8 个。差别全在 KV cache,而 KV cache 取决于注意力头数,不取决于参数量。

下面每个数都是从模型自己的 config.json 和 Hugging Face 上的 safetensors 总字节算出来的,取数日期 2026 年 11 月 21 日。没有一个是厂商跑分。公式是 vLLM 和 Hugging Face 都用的那一条:2(K 和 V)× 层数 × KV 头数 × head_dim × 2 字节,按每个 token 算。

每个模型,一个 token 的上下文要多少显存

模型层数KV 头head_dim每 token 的 KV8k,GiB32k,GiB权重 fp16,GiB
Qwen2.5-7B-Instruct28412856 KiB0.441.7514.19
Mistral-7B-Instruct-v0.3328128128 KiB1.004.0013.50
Llama-3.1-8B-Instruct328128128 KiB1.004.0014.96
Gemma-2-9B-it428256336 KiB2.62n/a (8k cap)17.21
Qwen2.5-14B-Instruct488128192 KiB1.506.0027.51
Mistral-Small-24B408128160 KiB1.255.0043.91
Qwen2.5-32B-Instruct648128256 KiB2.008.0061.03
Qwen3-32B648128256 KiB2.008.0061.02

32k 那一列就是「一个对话要多少」。32B 开 32k,一个用户吃掉 8.00 GiB 缓存。四个人就是 32.00 GiB,比一张 24 GB 卡的全部容量还大,而且这里还没算权重。

两个 7B 差了 2.3 倍

Qwen2.5-7B-Instruct 的 num_key_value_heads 是 4,注意力头是 28。Mistral-7B-Instruct-v0.3 留了 8 个 KV 头对 32 个头。参数量差不到 5%,每 token 的缓存 56 KiB 对 128 KiB,差 2.3 倍。

这就是分组查询注意力的全部意义。权重该多少就是多少,缓存花多少由架构师当时定的 KV 头数决定。选模型做服务的时候,就这一个字段决定了你能卖多少并发。

有一个模型,隐藏维除以头数会算错

多数情况下 head_dim = hidden_size / num_attention_heads。Gemma-2-9B-it 不成立:隐藏维 3,584,16 个头,算出来 224,而 config 里写的是 head_dim: 256。按 224 算,每 token 得到 294 KiB,实际是 336 KiB,少算 12.5%。少算的结果就是下午三点模型突然报缓存不够。

能扛住真实 config 的规则:配置里有 head_dim 就用它,没有才退回 hidden_size / num_attention_heads。

一张 24 GB 卡到底能装几个对话

按常见 0.9 的占用上限,卡上有 21.6 GiB 可用。减掉 safetensors 里的 fp16 权重,剩下的除以每 token 开销,并发数就出来了:

模型权重留给缓存token 数8k 并发
Qwen2.5-7B-Instruct14.19 GiB7.41 GiB138,83916.9
Mistral-7B-Instruct-v0.313.50 GiB8.10 GiB66,3518.1
Llama-3.1-8B-Instruct14.96 GiB6.64 GiB54,4156.6
Gemma-2-9B-it17.21 GiB4.39 GiB13,6871.7

同一张卡,同一个上下文长度,一个挂 17 个对话,另一个不到 7 个。买卡的人比较「24 GB 卡跑 7B」,在有人说明是哪个 7B 之前,等于没比较。

32B 比权重看起来更紧。单张 80 GB 卡,0.9 占用剩 72 GiB,fp16 权重占 61.03 GiB,剩下 10.97 GiB 给缓存。按每 token 256 KiB 算,是 44,943 个 token,也就是 32k 上下文下 1.37 个并发对话。一张 H100 的可用显存,在 32B fp16 上几乎被一个 32k 会话填满,批处理还没轮到上场。

四个会改变结果的开关

fp8 缓存。 支持的硬件上,vLLM 的 --kv-cache-dtype fp8 会把上面所有数字减半。这是能买到的最便宜的并发,而且它是个参数,不是一笔采购。

上下文长度是上限,不是预占。 分页注意力按 token 到达分配块,所以一个闲置服务开 --max-model-len 32768 并不会先占住每个槽 8 GiB。表里说的是「跑满这么长要多少」,不是「空转时卡上还剩多少」。

0.9 不是永远的默认值。 vLLM 0.34.0 里,开了可扩展 KV cache(CUDA 和 ROCm 上的默认,按实测显存定大小)时解析出的值是 1.0,否则 0.92。缓存配置源码写得很清楚:除非有别的进程要抢这块显存,否则别手动设 gpu_memory_utilization。按 0.9 算是保守估计,不是引擎的真实行为。

张量并行不会白送缓存。 KV 头要切到各张卡上,两路切分让每卡缓存减半、每卡 token 数大致不变,权重也减半。变好的是总量,前提是 KV 头数能被卡数整除。8 个头分 4 张卡是每卡 2 个;8 个头分 3 张,除不尽,vLLM 会直接拒绝这个配置。

把你自己要部署的模型算一遍

config 里两个字段,safetensors 一个数,剩下都是算术。装了 huggingface_hub 就能跑:

from huggingface_hub import hf_hub_download, HfApi
import json

repo = "Qwen/Qwen2.5-7B-Instruct"
cfg = json.load(open(hf_hub_download(repo, "config.json")))
info = HfApi().model_info(repo)

layers = cfg["num_hidden_layers"]
heads = cfg["num_attention_heads"]
kv = cfg.get("num_key_value_heads", heads)
hd = cfg.get("head_dim") or cfg["hidden_size"] // heads
params = info.safetensors.total

per_token = 2 * layers * kv * hd * 2
weights_gib = params * 2 / 1024**3
print("KV per token: %.1f KiB" % (per_token / 1024))
print("weights: %.1f GiB" % weights_gib)
for ctx in (8192, 32768, 131072):
    print(ctx, "%.2f GiB per conversation" % (per_token * ctx / 1024**3))

Qwen2.5-7B 上它会打出 56.0 KiB、14.2 GiB,以及 0.44 / 1.75 / 7.00 GiB。算出来和上面的表对不上,要么 config 变了,要么你选的 checkpoint 不一样,而真跑起来的是你选的那个。

这里没算的部分

激活值、CUDA graph、分页注意力的块表、分配器碎片,都要占显存,这份算术一个都没算。24 GB 卡上这块通常是 1 到 2 GiB,所以上面的并发数应当当上限看,拿去实测,不要直接当采购依据。装好模型跑一遍 nvidia-smi,跟估算值差多少,再决定能不能对客户承诺并发。

小卡上用 Ollama 做的实测版本,在 Ollama 跑 Docker 的显存账。缓存是什么、为什么按 token 涨,在 KV cache 讲清楚。装得下之后该选哪个引擎,对比在 vLLM 对 Ollama。

相关文章

延伸阅读 · 含推广链接

API 账单分散在几家平台时,续费和管理都费神。合到一个账号下,成本和额度一眼看得清。

合并到一个账号 →

相关文章
2026-11-19
LiteLLM 代理自建:四个文件搞定按 key 限额与失败切换(v1.110.0)
2026-07-14
免费AI编程助手 2026 配置指南:VS Code 5分钟装 Continue、Copilot、Windsurf
2026-07-14
2026开源大模型基准测试对比:Llama 3.1 vs Qwen 2.5 vs Mistral vs Phi-3
2026-08-05
2026年YOLO目标检测教程:Ultralytics(6万星),10行代码检测图片和视频里的物体
2026-08-07
AI视频翻译:开源的配音与字幕方案实测
2026-07-26
自托管AI硬件指南2026:跑本地大模型该买什么,显存、内存、带宽怎么算

本站文章由编辑人工撰写,收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库,仅作信息参考,不构成付费推广。

💬 评论 (0)

暂无评论,来说两句吧~

登录后评论