微调的显存门槛比推理高一个量级：先分清 LoRA 还是全参，再谈卡。
结论：微调的显存 ≈ 权重 + 梯度 + 优化器状态 + 激活值。
LoRA / QLoRA：只训练少量参数，13B 在 24–32GB 可做，70B 在 48–80GB 可做；
全参微调：13B 需要 80GB 起（A100/H100 单卡），70B 基本要 8 卡集群。
预算有限就先做 LoRA，效果不够再考虑全参——这是最常见的成本排序。
全参微调的显存开销和推理完全不是一个量级：除了权重，还要存梯度、优化器状态（Adam 每个参数约 8 字节）和激活值。粗算下来，全参微调 1B 参数大约要 16–20GB，13B 就要 200GB 以上，必须靠 ZeRO / FSDP 这类切分方案摊到多卡上。这就是为什么「13B 全参要 8 卡」不是厂商保守，而是数学结果。
LoRA 把可训练参数压到 1% 以下，优化器状态跟着缩小，显存回到「权重 + 少量附加」的量级，24–32GB 就能动 13B。这也是消费卡在微调场景仍然有用的原因——不是算力够，是显存刚好够。
选卡上还有一个反直觉的点：微调更吃算力与互联，推理更吃显存与带宽。同样预算下做微调，优先看 FP16/BF16 算力和多卡互联（NVLink）；做推理则优先看单卡显存容量。
| 型号 | 显存 | FP32 算力 | 功耗 | 这个场景里适合干什么 |
|---|---|---|---|---|
| GeForce RTX 4090 | 24 GB GDDR6X | 82.58 TFLOPS | 450 W | 24GB GDDR6X，13B QLoRA 的经济解；单卡无 NVLink，多卡扩展受限。 |
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB GDDR6，13B 全参/LoRA 与 32B LoRA 的工作站解。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB GDDR6，机架形态、有 ECC，适合团队共享的微调节点。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB HBM2e，13B 全参的主力机型，存量集群最常见。 |
| H100 SXM5 80 GB | 80 GB HBM3 | 66.91 TFLOPS | 700 W | 80GB HBM3 + NVLink，多卡全参微调与 70B 级训练的标准解。 |
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB HBM3e，显存换卡数，70B LoRA/中等规模训练更省卡。 |
| B200 | 90 GB HBM3e | 74.45 TFLOPS | 1000 W | 整卡 180GB HBM3e，新一代训练主力，FP8/FP4 支持降低显存与时间成本。 |
表内数字来自站内显卡档案库的厂商公布规格，用于横向比较；实际性能受驱动、散热与软件版本影响。想看完整规格，点型号进入详情页。
A100/H100 80GB 至少要 2 张以上才能起，工程上常见 4 卡或 8 卡配 ZeRO-2/3 或 FSDP。单卡 80GB 做 13B 全参基本不可行（优化器状态就放不下）。
能，但只适合 LoRA/QLoRA 这类轻量微调。没有 ECC、没有 NVLink、长时间满载的散热与稳定性都不适合生产；团队正式训练建议用数据中心卡。
取决于任务。领域知识注入、风格对齐这类任务 LoRA 通常够用；需要改变模型能力边界（新语言、新推理模式）时，全参微调效果更稳。建议先 LoRA 试，效果不达标再上全参。
单卡微调不需要；一旦上多卡做参数切分，NVLink 对训练效率影响很大，PCIe 方案在跨卡同步上会成为瓶颈。
扫码关注
