先把「需要多少显存」算清楚，再决定是单卡、双卡还是八卡——顺序反了就会买错。
结论：70B 的显存下限由精度决定——FP16 权重约 140GB、INT8 约 70GB、INT4 约 35–40GB。再加 20–30% 给 KV Cache 和框架开销后：
FP16：141GB 的 H200 是「单卡刚好能加载、并发很小」的边界；宽松单卡要 180GB 以上（B200 整卡 180GB、MI300X 192GB）；双卡 80GB 是主流可行解。
INT8：单卡 80GB（H100/A100 80GB）可跑，72GB 档（RTX PRO 5000 72GB）也在边界内。
INT4：单卡 48GB 就能跑，24GB 消费卡必须 CPU 卸载，速度会掉到个位数 token/s。
（参数量的字节数）是唯一要背的公式：70B 参数 × 2 字节（FP16）= 140GB，× 1 字节约 70GB，× 0.5 字节约 35GB。很多人卡在这一步——买了一张 80GB 的卡，装完权重发现放不下 KV Cache，只能降并发或换量化。
第二件常被忽略的事是多卡不是把显存加起来那么简单。张量并行能把权重切开，但每层都要做跨卡通信，卡间带宽决定实际吞吐：SXM + NVLink 的机型（H100 SXM5、H200）跑张量并行的效率，明显高于只能走 PCIe 的插卡形态。同样两张 80GB，SXM 形态和 PCIe 形态的实际吞吐能差出一截。
第三件事是并发与上下文。70B 服务 32K 上下文时，单条会话的 KV Cache 就可能吃掉十几 GB。所以「能加载」和「能对外服务」是两个门槛：前者看权重，后者看权重 × 并发 × 上下文。做对外服务，宁可显存留 30% 余量。
| 型号 | 显存 | FP32 算力 | 功耗 | 这个场景里适合干什么 |
|---|---|---|---|---|
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB HBM3e，FP16 70B 的单卡边界解；算力与 H100 同级，买它是买显存。 |
| B200 | 90 GB HBM3e | 74.45 TFLOPS | 1000 W | 整卡 180GB HBM3e（双 die 各 90GB），FP16 70B 单卡可跑且留得出上下文空间，Blackwell 新一代主力。 |
| Radeon Instinct MI300X | 192 GB HBM3 | 81.72 TFLOPS | 750 W | 192GB HBM3，显存容量同级最大的一档；前提是接受 ROCm 生态。 |
| H100 SXM5 80 GB | 80 GB HBM3 | 66.91 TFLOPS | 700 W | 80GB HBM3，FP16 70B 需要 2 张走张量并行；INT8 70B 单卡可跑，存量集群最常见。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB HBM2e，INT8 70B 单卡可跑的性价比选择，以库存/二手为主。 |
| RTX PRO 5000 72 GB Blackwell | 72 GB GDDR7 | 66.94 TFLOPS | 300 W | 72GB GDDR7，INT8 70B 刚好在边界，专业卡形态、功耗比数据中心卡低。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB GDDR6，INT4 70B 单卡可跑；数据中心形态、有 ECC 与认证，适合机架部署。 |
| GeForce RTX 5090 | 32 GB GDDR7 | 104.80 TFLOPS | 575 W | 32GB GDDR7，INT4 70B 需要 CPU 卸载，只适合验证与个人研究，不适合对外服务。 |
表内数字来自站内显卡档案库的厂商公布规格，用于横向比较；实际性能受驱动、散热与软件版本影响。想看完整规格，点型号进入详情页。
权重 140GB 是硬下限。实际部署还要加 KV Cache（32K 上下文、并发 8 时常见十几 GB 到几十 GB 不等）和框架开销，所以生产环境一般按 170–190GB 规划：H200 141GB 属于「能跑但紧」，B200 192GB 或 MI300X 192GB 才算宽松。
24GB × 2 = 48GB，FP16 放不下；INT4 权重约 35–40GB 可以放，但没有 NVLink，只能走 PCIe 做流水线并行，实际吞吐很低，只适合自己测试，不能对外提供服务。
通用对话和摘要类任务通常可用，长链推理、代码生成、数学类任务掉点更明显。给客户交付时，建议 INT8 起步，或 INT4 + 更长的评估集，别只看几个样例。
大。SXM 走 NVLink，卡间带宽远高于 PCIe，张量并行的通信开销小；PCIe 版多卡跑 70B 时通信容易成为瓶颈，吞吐可能只有 SXM 方案的六七成。多卡场景优先 SXM。
取决于上下文长度与量化精度。以 H200 141GB 跑 INT8 70B、4K 上下文为例，工程实践中通常是十几到几十路并发这个量级；32K 长上下文则要按「显存 ÷ 单会话 KV Cache」重算，并发会掉一个数量级。
扫码关注
