新上8卡RTX 5090 限时特惠 Read more

长上下文推理先算 KV Cache:不爆显存的 vLLM 显存账本 - 云数方舟

长上下文推理先算 KV Cache:不爆显存的 vLLM 显存账本

很多人算显存只看“模型权重多大”:7B FP16 约 14G,24G 卡稳跑。上线长上下文一开 32k,半夜直接 OOM——权重只是显存里最小头,KV Cache 才是吞显存的大户。

显存三段账

  • 权重:7B FP16 约 14-16G,INT4 后 4-8G
  • KV Cache:随上下文长度 × 并发数线性涨,32k 上下文 8 并发能吃掉 20-40G
  • 上下文+激活:预留 2-4G 安全垫,别把显存打满到 99%

经验公式

单卡可用显存 ≈ 显存 × gpu-memory-utilization(0.85-0.92)- 权重 - 安全垫,剩下全部给 KV Cache。

7B 模型跑 4090 24G:权重 4G(INT4)+ 安全垫 3G,剩约 15G 给 KV Cache,32k 上下文能撑中等并发;开到 128k 就砍 max-num-seqs。

# 4090 单卡 7B 长上下文保守起法
vllm serve Qwen2.5-7B-Instruct-AWQ \
  --max-model-len 32768 \
  --max-num-seqs 32 \
  --gpu-memory-utilization 0.88 \
  --enable-prefix-caching \
  --enable-chunked-prefill

卡型判断

  • 4090 24G:7B/13B 量化推理,上下文 32k 内,并发中等
  • 5090 32G:同模型余量更舒服,长上下文批处理更稳
  • A100 80G:30B-70B 量化、长上下文高并发,NVLink 通信不吃亏
  • H100/H200:70B+ 长上下文、FP8 量化、生产高并发

三个立竿见影的开关

  • –enable-prefix-caching:公共系统提示复用,省 20-30% KV
  • –enable-chunked-prefill:长文本不卡整个 batch
  • 先砍 max-model-len 再砍 max-num-seqs:别一 OOM 就加卡

显存账算明白再选卡,比“直接上 H100”省一半预算。

美国/欧洲 GPU 物理机实配:云数方舟 GPU 独立服务器

云数方舟
  • contact@globaldc.cn