推理算力起来后，4090、A100、H100 到底怎么选：显存带宽才是真瓶颈

2026 年算力市场有个明显拐点：推理租赁占比反超训练。模型训完要落地，Agent、客服、出图、代码补全全在吃推理卡。但很多团队选卡还停在“H100 最贵=最好”的阶段，实际推理场景里，显存带宽比峰值 TFLOPS 更决定体验。

先算一笔显存账

推理显存 ≈ 权重 + KV Cache + 激活余量。7B 模型 INT4 量化权重约 4GB，但 8K 上下文、8 并发，KV Cache 就能吃掉 20GB+；上下文拉到 32K，直接破 80GB。所以“24G 能跑 7B”只限于低并发短上下文，生产环境得按业务峰值预留。

• RTX 4090 24G：单卡跑 7B/13B 量化推理、SDXL 出图、Embedding 服务，性价比之王
• A100 80G SXM：13B–70B 推理、长上下文、多卡张量并行，带宽 2TB/s 档
• H100 80G SXM：高并发大模型推理、FP8 量化、PD 分离，带宽 3.35TB/s
• H200 141G：长上下文 KV 暴涨场景，少做分片，省软件层折腾

卡间互联别忽视

多卡做张量并行，PCIe 4.0 x16 单向约 32GB/s，NVLink 在 A100 上 600GB/s 级，H100 NVSwitch 节点内 900GB/s。用 PCIe 硬切 TP=2，实际吞吐往往只有单卡 1.3–1.5 倍；NVLink 全互连才接近线性加速。

# 看卡间拓扑和带宽
nvidia-smi topo -m
nvidia-smi nvlink --status

# 推理服务起来后盯真实瓶颈
nvidia-smi dmon -s pucvmet -d 1

SM 低、显存带宽打满 = 内存墙；SM 高、吞吐上不去 = 批处理或通信问题。

vLLM 起服务的最小改动

python -m vllm.entrypoints.api_server \
  --model Qwen2.5-7B-Instruct \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --enable-prefix-caching

开 PagedAttention + 动态批处理，4090 单卡 7B 推理吞吐能翻 2–3 倍。别一上来就 FP16 裸跑，先试 AWQ/FP8 量化。

达拉斯节点怎么选形态

• 开发调试 / 单图推理：vGPU 1/4×4090，100M 口够用，成本最低
• 生产推理 API：物理机 1–8×4090，10G 口，按并发扩实例
• 70B 长上下文 / 多模态：A100 80G 或 H100 SXM 物理机，NVLink 必备
• 预训练 / RLHF：8×H100 + IB 网络，别用消费卡硬凑

训练场景看算力，推理场景看“每 Token 成本”：显存够不够、带宽够不够、延迟稳不稳。同样跑 7B 推理，4090 月租不到 H100 三分之一，中小业务先上 4090，卡显存再升 A100/H100，比一步到位囤 H100 更省现金。

达拉斯 GPU 物理机与显卡云：云数方舟美国 GPU 独立服务器