长上下文推理先算 KV Cache:不爆显存的 vLLM 显存账本
很多人算显存只看“模型权重多大”:7B FP16 约 14G,24G 卡稳跑。上线长上下文一开 32k,半夜直接 OOM——权重只是显存里最小头,KV Cache 才是吞显存的大户。
显存三段账
- 权重:7B FP16 约 14-16G,INT4 后 4-8G
- KV Cache:随上下文长度 × 并发数线性涨,32k 上下文 8 并发能吃掉 20-40G
- 上下文+激活:预留 2-4G 安全垫,别把显存打满到 99%
经验公式
单卡可用显存 ≈ 显存 × gpu-memory-utilization(0.85-0.92)- 权重 - 安全垫,剩下全部给 KV Cache。
7B 模型跑 4090 24G:权重 4G(INT4)+ 安全垫 3G,剩约 15G 给 KV Cache,32k 上下文能撑中等并发;开到 128k 就砍 max-num-seqs。
# 4090 单卡 7B 长上下文保守起法
vllm serve Qwen2.5-7B-Instruct-AWQ \
--max-model-len 32768 \
--max-num-seqs 32 \
--gpu-memory-utilization 0.88 \
--enable-prefix-caching \
--enable-chunked-prefill
卡型判断
- 4090 24G:7B/13B 量化推理,上下文 32k 内,并发中等
- 5090 32G:同模型余量更舒服,长上下文批处理更稳
- A100 80G:30B-70B 量化、长上下文高并发,NVLink 通信不吃亏
- H100/H200:70B+ 长上下文、FP8 量化、生产高并发
三个立竿见影的开关
- –enable-prefix-caching:公共系统提示复用,省 20-30% KV
- –enable-chunked-prefill:长文本不卡整个 batch
- 先砍 max-model-len 再砍 max-num-seqs:别一 OOM 就加卡
显存账算明白再选卡,比“直接上 H100”省一半预算。
美国/欧洲 GPU 物理机实配:云数方舟 GPU 独立服务器