多卡不是把显存加起来：卡间带宽决定你能不能真的并行。
结论：要跑张量并行（把一个大模型切到多卡同跑）→ 必须优先 SXM + NVLink；只是多实例独立服务或流水线并行 → PCIe 插卡足够。
同样的卡数，SXM 方案的实际吞吐常比 PCIe 高出一截，代价是整机门槛与成本。
多卡第一件事是分清并行方式：张量并行每层都要跨卡交换激活值，通信量大、延迟敏感，PCIe 会成为瓶颈；流水线并行只在层边界交换，通信量小，PCIe 能接受；数据并行每步同步梯度，对带宽敏感但可以靠更大批量和梯度累积缓解。
第二件事是整机形态：SXM 卡焊在专用底板上，只能整机采购，不能单独升级；PCIe 卡装卸灵活，但受限于主板 PCIe 通道与机箱风道，8 卡 PCIe 整机的散热设计往往是隐性难点。
第三件事是功耗与机房：8 卡 SXM 整机常见 6–10kW，需要专用供电、风道甚至液冷；PCIe 整机功耗低一些，但密度也低。选方案先把机房条件摸清再谈卡型，反过来做经常落地不了。
| 型号 | 显存 | FP32 算力 | 功耗 | 这个场景里适合干什么 |
|---|---|---|---|---|
| H100 SXM5 80 GB | 80 GB HBM3 | 66.91 TFLOPS | 700 W | SXM5 + NVLink 的多卡训练标准解，张量并行效率最高的一档。 |
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB HBM3e + NVLink，大模型多卡部署的主力。 |
| B200 | 90 GB HBM3e | 74.45 TFLOPS | 1000 W | Blackwell 新一代，整卡 180GB 级，8 卡整机可做百 B 参数训练。 |
| A100 SXM4 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 400 W | 存量大集群的扩容首选，NVLink 互联成熟、成本已回落。 |
| H100 PCIe 80 GB | 80 GB HBM2e | 51.22 TFLOPS | 350 W | PCIe 形态，适合多实例独立服务与灵活装机，不适合强耦合张量并行。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | PCIe 形态的推理卡，多卡用于提高并发密度而不是切分模型。 |
表内数字来自站内显卡档案库的厂商公布规格，用于横向比较；实际性能受驱动、散热与软件版本影响。想看完整规格，点型号进入详情页。
取决于并行方式。张量并行下 PCIe 方案常只有 SXM 方案的六七成吞吐；流水线并行或每卡独立服务时差距不明显。
散热与供电。8 张双宽卡的风道设计不好会降频，电源要按峰值而不是 TDP 之和算，主板 PCIe 通道分配也常需要降速运行。
会。多卡的价值在互联方案：先买 PCIe 后期很难升级成 NVLink 结构。明确要走多卡训练路线的话，一开始就按 SXM 整机规划更省钱。
扫码关注
