RAG 知识库部署：向量库和推理为什么必须拆开
很多团队一台 GPU 服务器把向量库、Embedding、生成推理全塞进去，跑起来前两周没事，文档一多、并发一上来，推理开始抖，检索变慢，谁都甩锅给“模型不行”。
资源画像先拆开
- 入库/OCR：吃 CPU 核数、内存带宽
- 向量检索：吃内存容量+内存带宽，索引在内存里才毫秒级
- 生成推理：吃显存+显存带宽，KV Cache 决定并发
三者放一台机器，OCR 抢满 CPU，推理就掉速；向量索引内存不够，检索掉到百毫秒级。
两套架构分界
10 人以内、十万页文档：单机一体，1 张 24G 卡 + 128G 内存够用。
百万页、几十并发：必须拆。
# 检索节点（重内存）
128G+ 内存，向量库用 Qdrant/Milvus，索引全常驻内存
# 推理节点（重显卡）
1-2 张 4090/5090，vLLM 跑生成，Embedding 单独小卡
# 网络
节点间万兆起步，否则检索结果回传变新瓶颈配置参考
- 入门：128G 内存 + 1×24G 卡 + 2T NVMe，7B+十万页
- 标准：256G 内存 + 2×48G 卡 + 4T NVMe，14B-32B+百万页
- 进阶：512G 内存 + 4×80G 卡，70B 长上下文
别只堆显卡不堆内存——向量库磁盘随机读，延迟能差两个数量级。
GPU/AI 算力方案：云数方舟 GPU/AI 算力解决方案
