先想清楚是「做研究」还是「跑服务」：这两种负载的卡完全不同。
结论：7B–14B LoRA 微调：24–48GB 单卡；32B LoRA：48–80GB；70B LoRA 微调：80GB × 2–4；全参微调要 8 卡 80GB 级。
推理侧：32B（INT8）约 35–40GB、70B（INT4）约 40–48GB，显存够就行，卡数不必多。
大模型研究链路是「数据构造 → 微调 → 评测 → 消融实验」。微调吃显存与算力，评测吃推理吞吐，消融实验要反复跑，实验吞吐决定论文产出速度。
第二段是并行策略：单机多卡靠 NVLink 效率最高；跨机需要 IB。选机器时就要想清楚未来是否扩多机。
| 环节 | 吃显存还是吃算力 | 精度口径 | 关键硬件特性 | 说明 |
|---|---|---|---|---|
| LoRA/QLoRA 微调 | 显存 + 算力 | BF16/FP16 | 显存容量、Tensor Core | 24–80GB 按参数量 |
| 全参微调 | 显存 + 互联 | BF16 | NVLink、显存容量 | 8 卡 80GB 起 |
| 推理与评测 | 显存为主 | FP16/INT8 | 显存容量 | 够装模型即可 |
| 数据构造 | CPU + IO | — | CPU、存储 | 常被低估 |
| 型号 | 显存 | FP32 算力 | 功耗 | 在本场景里承担什么 |
|---|---|---|---|---|
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB，32B LoRA 与推理。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB，70B LoRA 与中等全参。 |
| H100 SXM5 80 GB | 80 GB HBM3 | 66.91 TFLOPS | 700 W | 8 卡 NVLink，全参与大规模实验。 |
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB，大模型长上下文。 |
点型号进详情页看完整规格与替代型号；不确定档位可以先看 分类 或 场景选型。
以上型号来自本站参数库，仅用于规格横向比较；实际供货以厂商中国区可售清单与合规要求为准，受出口管制的型号不在常规供货范围。
LoRA 微调 80GB × 2–4 卡（或 141GB 单机两卡）；全参微调需 8 卡 80GB 级并配 NVLink/IB。
32B INT8 约 35–40GB；70B INT4 约 40–48GB。留出上下文与并发余量后再选卡。
够做 7B–14B 的 LoRA 与评测。但如果要做消融实验与多方向并行，4 卡以上能显著提升产出。
扫码关注
