H100 和 4090 推理单 Token 成本账：什么时候才该上 H100

“H100 肯定更强”没错，但推理业务算的是单 Token 成本，不是峰值算力。

两个硬指标差在哪

• 4090：24G 显存，PCIe 通信，带宽约 1TB/s 级，适合单卡/小规模 TP
• H100：80G HBM3，NVLink 全互连，FP8 Transformer Engine，长上下文 KV Cache 减半

吞吐对照（70B 级模型，参考量级）

• 2×4090 TP=2：中低并发，32k 上下文，吞吐中等，月租低
• 1×H100 FP8：70B 32k 单卡可撑，高并发吞吐数倍于 4090 方案
• 8×H100：超大规模 API，单 Token 成本靠规模摊薄

算笔账

假设月租：8×4090 物理机约 2 万级，8×H100 约 8-12 万级。如果业务每天只有几百万 Token 请求，4090 单 Token 成本更低；如果每天上亿 Token、首字延迟卡死 SLA，H100 的并发能力能把单位成本反超。

决策线

• 7B/13B 在线推理、并发不炸：4090 封神
• 70B 长上下文、高并发 API：A100 80G 或 H100
• 训练/RLHF/多模态对齐：直接 H100 集群，别拿消费卡凑
• FP8 量化能跑的：H100 显存优势放大，KV Cache 占用直接砍半

中小团队先 4090 验证收入，模型起量再升卡，比一上来租 H100 烧现金流现实得多。

美国 GPU 物理机：云数方舟达拉斯/洛杉矶 GPU 节点