RAG 的瓶颈不在生成，而在「检索 + 长上下文」——显存要装得下长文档，并发要撑得住内部员工。
结论：RAG 场景先用 24–48GB 的卡把 7B–32B 模型和长上下文装下，再按并发加卡，不需要一上来就上数据中心旗舰。
7B–14B + 8K–32K 上下文 → 24GB 单卡就够；32B + 长文档 → 48GB；并发超过几十路才需要考虑 80GB 卡或水平扩多台。另外别忘了Embedding 与重排模型：它们吃算力不吃显存，同卡分时跑或单独一张小卡都行。
RAG 的链路是「切片 → 向量化 → 检索 → 重排 → 大模型生成」，GPU 压力集中在两处：Embedding 批量向量化（一次性，算力为主、显存占用小）和生成阶段的 KV Cache（持续，显存为主）。很多人只按生成模型的权重大小买卡，上线后并发一高就 OOM，问题就出在 KV Cache 没算进去。
第二件常被忽略的是上下文长度。RAG 会把检索到的多段文档塞进提示词，32K 上下文的 KV Cache 可能是 4K 的八倍。同一张 24GB 卡，跑 4K 能服务十几路并发，跑 32K 可能只有两三路。选型要用「真实的最长文档 + 目标并发」去算，别用 demo 的短问题。
第三件是部署形态。内部知识库通常是内网、单机、白天忙夜间闲，这种负载用消费卡或工作站卡完全够；但要对外提供服务、7×24 挂机时，ECC 显存、被动散热与长质保才开始变得重要。
| 型号 | 显存 | FP32 算力 | 功耗 | 这个场景里适合干什么 |
|---|---|---|---|---|
| L4 | 24 GB GDDR6 | 30.29 TFLOPS | 72 W | 24GB、低功耗单槽，7B–14B 的 RAG 服务主力，一台机器可堆多张提高并发密度。 |
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB 工作站形态，32B 模型 + 长上下文的一体机方案，兼做本地开发。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB 机架形态、带 ECC，团队共享的知识库节点，推理与渲染两用。 |
| GeForce RTX 4090 | 24 GB GDDR6X | 82.58 TFLOPS | 450 W | 24GB，内部自用、并发不高的经济解；无 ECC，不适合对外长时服务。 |
| RTX A5000 | 24 GB GDDR6 | 27.77 TFLOPS | 230 W | 24GB 专业卡，带认证驱动与更长质保，适合正式上线的内网服务。 |
| A10G | 24 GB GDDR6 | 31.52 TFLOPS | 150 W | 24GB、功耗温和，云主机与整机配套常见，切分后适合多实例部署。 |
| GeForce RTX 4060 Ti 16 GB | 16 GB GDDR6 | 22.06 TFLOPS | 165 W | 16GB，预算有限时的 14B 级 RAG 入门解，长上下文会吃紧。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB，几十路并发或长上下文大批量时的数据中心解。 |
表内数字来自站内显卡档案库的厂商公布规格，用于横向比较；实际性能受驱动、散热与软件版本影响。想看完整规格，点型号进入详情页。
不必。内网、白天用夜间闲的负载，消费卡或工作站卡完全够；需要 7×24 对外服务、或并发很高时，数据中心卡的 ECC、被动散热与长质保才开始值钱。
按「模型权重 + KV Cache + 框架开销」算。7B FP16 约 14GB 权重、32B INT4 约 18GB；再加长上下文的 KV Cache，24GB 跑 14B、48GB 跑 32B 是比较稳的搭配。
小团队不用，和生成模型同卡分时跑即可；如果每天要向量化几十万份文档，把 Embedding 放到独立小卡上能避免互相抢占，吞吐更稳。
先排查框架的批处理与 KV Cache 策略（vLLM 的 PagedAttention、SGLang 的前缀缓存），再怀疑卡。同一张卡换框架常有 2–3 倍差距，比换卡划算。
扫码关注
