训练卡与推理卡的全部参数：HBM 显存、FP16/BF16 算力、NVLink 互联、TDP 与整机要求。
数据中心 GPU 和消费卡的分水岭是显存类型与互联：HBM 显存（HBM2e / HBM3 / HBM3e）提供数倍于 GDDR 的带宽，NVLink 让多卡之间不再挤 PCIe。这两点决定了它能不能跑大模型训练——参数量乘以精度字节数就是显存下限，卡不够就只能切分，切分就损失效率。
当前这一档的主力是三代同堂：Ampere（A100 / A800，40/80GB HBM2e）仍在存量集群里大量服役；Hopper（H100 / H800 / H200，80GB HBM3 至 141GB HBM3e）是这两年的交付主力；Blackwell（B200 / B300，双 die 封装、整卡 180GB / 288GB HBM3e）是新一代，显存和算力同时上台阶。AMD 侧的 Instinct MI300X / MI325X 用 192GB / 288GB HBM3(e) 打显存容量这张牌。
一句话结论：训练看「显存 × 互联」，推理看「显存 ÷ 并发」——先算显存下限，再决定要不要多卡，最后才比算力。
显存覆盖 1–288 GB，最高 FP32 算力 126.00 TFLOPS，发布年份跨度 2015–2025，其中 73 款为 HBM 显存。点任一型号进入完整参数页（规格、算力、功耗、替代型号）。
FP16 全精度权重约 140GB，加上 KV Cache 与框架开销，实际要 160GB 以上显存：H100/A100 80GB 需要 3 张以上才宽裕，通常用 4 卡或 8 卡并配张量并行；INT8 量化后 70GB 左右，单张 80GB 可跑但并发受限；INT4 约 35–40GB，单卡可跑、质量有损。H200（141GB）双卡、整卡 180GB 的 B200 单卡就能放开 FP16 70B。
算力同代同级，差别在显存：H100 是 80GB HBM3，H200 是 141GB HBM3e，带宽也更高。对显存吃紧的大模型推理，H200 的收益主要来自「一张顶两张」，不是算力变快。
能，但以库存和二手为主。A100 80GB 仍是很多推理场景的性价比选择，采购时要确认来源、剩余保修与是否为拆机卡；新建训练集群一般直接上 Hopper 或 Blackwell。
MI300X 是 192GB HBM3，显存容量明显大于 H100 80GB，适合「显存不够、但能接受 ROCm 生态」的推理场景；如果框架、算子、团队经验都在 CUDA 侧，H100/H200 的迁移成本更低。
扫码关注
