消费卡跑训练不是不能,是别拿它当 H100 用:4090/5090 训练边界实测
“8 张 4090 能不能训 70B?”能,但没人愿意这么训。消费卡训练不是性能不够,是通信和稳定性先把人耗死。
消费卡能舒服跑的
- 7B/13B LoRA / QLoRA:单卡或 2 卡数据并行,batch 调小就行
- 指令微调、领域适配、Agent 工具调用训练
- 多模态小模型(Qwen2-VL-7B 级)视觉侧单独卡
- Embedding 重训、重排模型、Reranker 微调
消费卡硬撑会痛的
- 70B 全参训练:TP 走 PCIe,梯度同步吃满总线,有效利用率掉 30%
- 长上下文全参:激活值+梯度+优化器状态,24G 卡疯狂 offload 到内存
- 千亿级预训练:没 NVLink、没 ECC 长期跑,检查点容易静默错
DeepSpeed 配置参考
# 单卡 4090 跑 7B QLoRA { "fp16": {"enabled": false}, "bf16": {"enabled": true}, "zero_optimization": { "stage": 2, "offload_optimizer": {"device": "none"} }, "gradient_accumulation_steps": 4 }4 卡 4090 跑 13B 全参 stage 3 + CPU offload,通信慢但能跑通别开 TP,消费卡 TP 通信比 DP 更亏
5090 比 4090 训练侧的变化
- 32G 显存:同模型 batch 大一档,激活值余量更松
- FP4/FP8 部分算子:Blackwell 架构下量化训练实验性可用,生产别全压
- PCIe5 单卡带宽高,但多卡仍无 NVLink,8 卡训练别当 H100 集群用
迭代效率账
验证期用 4090 把流水线跑通,再迁 A100/H100 跑全量,比一上来租 H100 烧钱更现实。消费卡是“研发加速器”,不是“训练主力军”。
达拉斯/荷兰训练节点:云数方舟 GPU 算力物理机