8×RTX 5090 本地推理：256G 显存池怎么用才不浪费

8×RTX 5090 机器到手，256G 显存看着吓人，但默认状态大概率只有一张卡在干活。消费卡没 NVLink，显存不互通，不把拓扑和调度想清楚，三分之一算力是空转。

先确认链路没降级

nvidia-smi
nvidia-smi topo -m
nvidia-smi -q | grep -i "Link Width"

每张卡都应该是 x16（Gen5 理想，Gen4 也行），掉到 x8/x4 就是线缆或 BIOS 问题。8 卡里坏一条链路，整体吞吐直接少八分之一。

显存不是大池子，是 8 个独立仓库

• 单模型放不下：走 TP（张量并行），5090 用 PCIe 通信，TP=2 划算，TP=8 通信开销吃掉收益
• 多模型并发：一卡一实例，7B/13B 各占一张，剩下卡跑出图或向量
• 长上下文：KV Cache 是显存黑洞，8k 上下文和 128k 上下文显存占用差几倍

# 卡0-3 跑 27B Q4 张量并行
CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve Qwen3-27B-Q4 \
  --tensor-parallel-size 4 --max-model-len 65536 \
  --gpu-memory-utilization 0.90 --port 8000

# 卡4-7 各跑一个 7B 实例
CUDA_VISIBLE_DEVICES=4 vllm serve Qwen2.5-7B-Instruct --port 8004 &
CUDA_VISIBLE_DEVICES=5 vllm serve DeepSeek-R1-7B --port 8005 &

功耗别当摆设

8 卡满负载整机 5-6kW，机房机位要确认供电余量和风道。BIOS 里关 C-states、关 ASPM，开 Above 4G Decoding + Re-Size BAR，否则掉频。

5090 的隐藏优势：NVFP4

Blackwell 架构支持 FP4 量化推理，小模型吞吐比 4090 高一大截，但别拿它对标 H100 的 HBM 带宽。本地推理、7×24 多团队共享，5090 八卡性价比吊打租云；间歇性用、算力利用率低于 40%，还是云实例弹性更省。

达拉斯/洛杉矶 8×5090 物理机：云数方舟美国 GPU 独立服务器