新上8卡RTX 5090 限时特惠 Read more

多模态推理别把 ViT 和 LLM 绑死:图片请求占比决定架构

多模态推理最容易被忽略的一点:ViT 不是免费挂载件。Qwen2-VL-7B 跑起来,LLM 主体吃 14G, […]

Read more

消费卡跑训练不是不能,是别拿它当 H100 用:4090/5090 训练边界实测

“8 张 4090 能不能训 70B?”能,但没人愿意这么训。消费卡训练不是性能不够,是通信和稳定性先把人耗死 […]

Read more

长上下文推理先算 KV Cache:不爆显存的 vLLM 显存账本

很多人算显存只看“模型权重多大”:7B FP16 约 14G,24G 卡稳跑。上线长上下文一开 32k,半夜直 […]

Read more
云数方舟
  • contact@globaldc.cn