GPU 机器 BIOS 里那几个开关：Above 4G、Resizable BAR、SR-IOV 实测影响

8 卡 GPU 机器到手，装完驱动跑推理发现吞吐只有预期 70%，查了一圈驱动、框架、模型都没问题——最后发现是 BIOS 里三个开关没开对。

Above 4G Decoding：必须开

单张 4090/5090 显存 24-32G，8 卡加起来 256G 地址空间。不开这个，系统只能给每张卡映射前 256MB 的 MMIO 窗口，剩余显存靠 32-bit 窗口映射，性能断崖。

症状：nvidia-smi 正常，但推理吞吐只有预期 60-70%，dmesg 里有 hugepage allocation failed。

Resizable BAR（ReBAR）：开

让 CPU 一次性访问整张卡的显存（而不是 256MB 窗口），对大模型推理影响明显：

• 7B 推理吞吐提升：约 8-12%
• 70B TP 场景提升：15-20%（减少 CPU-GPU 数据搬运次数）
• 5090 必须开，Blackwell 架构默认假设 ReBAR 可用

SR-IOV：看场景

多租户虚拟化需要开，单租户物理机不用开。开了会多一层硬件抽象，单卡裸性能掉 2-3%。

其他该关的

• C-states：关，省电状态进出延迟对推理首字影响大
• ASPM：关，PCIe 链路省电会拖慢卡间通信
• NUMA balancing：关，推理进程绑 NUMA 节点后让内核别乱迁移

推荐 BIOS 模板（达拉斯 8×5090 实测）

Above 4G Decoding: Enabled
Resizable BAR: Enabled
SR-IOV: Disabled（单租户）/ Enabled（多租户）
C-states: Disabled
ASPM: Disabled
NUMA balancing: Disabled
Global C-State Control: Disabled
Power Supply Idle Control: Typical Current

开完这组设置，同模型同并发推理吞吐提升 18-25%，首字延迟降 30-40ms。

GPU 物理机预调优 BIOS：云数方舟美国 GPU 独立服务器