投研 RAG 的瓶颈是「检索质量 + 权限」，不是模型大小。
结论：7B–14B 推理 24GB 可跑；32B 建议 48GB；同时要留 embedding 与 rerank 模型的位置。团队 10–30 人共用建议独立推理服务器。
研报与内部数据敏感，私有化部署几乎是硬要求。
链路是「文档入库 → 切分与 embedding → 向量库 → 检索 → rerank → LLM 生成」。GPU 在embedding、rerank 与生成三段，注意它们会抢显存。
第二段是权限：不同团队能看到不同研报，检索层要做权限过滤，否则会「检索到不该看的」。
| 环节 | 吃显存还是吃算力 | 精度口径 | 关键硬件特性 | 说明 |
|---|---|---|---|---|
| 文档 embedding | 推理吞吐 | FP16/INT8 | Tensor Core、批处理 | 可批量离线 |
| 向量检索 | CPU/GPU | — | 内存、向量库索引 | 多数在 CPU/内存 |
| Rerank | 推理 | FP16 | 算力 | 与生成抢资源 |
| LLM 生成 | 显存 + 算力 | FP16/INT8 | 显存容量、并发 | 按并发与上下文 |
| 型号 | 显存 | FP32 算力 | 功耗 | 在本场景里承担什么 |
|---|---|---|---|---|
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB，32B 推理与团队共用。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB 机架形态，部门级推理服务。 |
| RTX A5000 | 24 GB GDDR6 | 27.77 TFLOPS | 230 W | 24GB，14B 级助手。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB，大模型与高并发。 |
点型号进详情页看完整规格与替代型号；不确定档位可以先看 分类 或 场景选型。
以上型号来自本站参数库，仅用于规格横向比较；实际供货以厂商中国区可售清单与合规要求为准，受出口管制的型号不在常规供货范围。
14B 级 24GB 可跑，32B 建议 48GB；同时要给 embedding 与 rerank 留显存。多人共用建议独立服务器。
研报与内部数据通常不允许外传，建议私有化部署。
要求生成结果带引用出处，并把检索命中率作为核心指标；纯生成质量不足以评估。
扫码关注
