新上8卡RTX 5090 限时特惠 Read more

多模态推理别把 ViT 和 LLM 绑死:图片请求占比决定架构 - 云数方舟

多模态推理别把 ViT 和 LLM 绑死:图片请求占比决定架构

多模态推理最容易被忽略的一点:ViT 不是免费挂载件。Qwen2-VL-7B 跑起来,LLM 主体吃 14G,视觉编码器再吃 6-8G,24G 卡直接紧绷。

先问一个比例:图片请求占多少 图片 < 30% 拆。ViT 单独起服务,纯文本请求不占视觉显存,LLM 卡 KV Cache 更宽裕。 图片 30-70% 看延迟。同机两进程(ViT 卡 + LLM 卡),网关按是否带图分流。 图片 > 70% 不拆。ViT 常驻,多一跳网络延迟不划算,5090 32G 单卡塞整套更稳。

拆法示例

# 卡1:视觉编码器
CUDA_VISIBLE_DEVICES=1 python vit_server.py \
  --model Qwen2-VL-ViT --port 9000 --batch-size 4卡0:语言模型
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen2-VL-7B-Instruct 
--port 8000 --gpu-memory-utilization 0.90
网关:有 image_url 先打 9000 拿 embedding,再塞 8000

显存参考(7B 级多模态)

  • 不拆:22-26G,24G 卡临界,长文本必 OOM
  • 拆 ViT 到第二卡:LLM 独占 24G,并发翻倍
  • 5090 32G 不拆:余量舒服,但高并发仍建议拆

视频/高分辨率场景

视频帧采样、高清图批处理,ViT 显存随帧数涨。直接上 A100 80G 或 L40S 48G,别拿 24G 卡硬扛。

多模态推理节点(美国/欧洲):云数方舟欧洲显卡服务器

云数方舟
  • contact@globaldc.cn