推理选卡只看两件事：显存能装下多少并发，带宽能吐出多少 token。
结论：推理不是「越贵越快」，而是显存 × 带宽 × 并发三元匹配。
中小模型（7B–14B）高并发 → L4 / L40S 这类低成本、低功耗、多卡堆叠的卡更划算；大模型（32B–70B）→ 48GB 起的专业卡或 80GB 数据中心卡；极限上下文与超大模型 → H200 / B200 的 HBM3e 带宽才是关键。
推理有两个互相打架的指标：吞吐（每秒总 token 数）和首 token 延迟。吞吐靠批量并发，需要显存放得下更多 KV Cache；延迟靠带宽，需要显存读得快。显存容量不够，并发上不去；带宽不够，单条速度上不去。这就是为什么同容量的 HBM 卡在推理场景比 GDDR 卡贵得多，也值。
算并发最实用的方式不是看参数表，而是实测单会话占用：把目标模型按目标上下文跑起来，读一次显存占用，减去权重，剩下的就是单会话 KV Cache；用（总显存 − 权重 − 余量）÷ 单会话占用，就是理论并发上限。工程上再打七折。
另一个常见误区是拿训练卡的算力去做推理预算。推理对算力的需求远低于训练，对显存容量和带宽的敏感度更高。同样的预算，一张 48GB 的 L40S 往往比一张更贵更快的训练卡能服务更多并发——因为它显存够、功耗低、能多卡堆叠。
| 型号 | 显存 | FP32 算力 | 功耗 | 这个场景里适合干什么 |
|---|---|---|---|---|
| L4 | 24 GB GDDR6 | 30.29 TFLOPS | 72 W | 24GB GDDR6、低功耗单槽，7B–14B 高并发推理的性价比之选，可多卡堆叠。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB GDDR6，32B 级模型的推理主力，兼做图形/渲染，一卡两用。 |
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB GDDR6 工作站形态，适合单机推理 + 本地开发一体。 |
| H100 PCIe 80 GB | 80 GB HBM2e | 51.22 TFLOPS | 350 W | 80GB HBM3，70B 级模型推理的标准解，PCIe 形态装机灵活。 |
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB HBM3e，长上下文与 70B FP16 推理的边界解，带宽是主要价值。 |
| B200 | 90 GB HBM3e | 74.45 TFLOPS | 1000 W | 整卡 180GB HBM3e，新一代推理主力，单卡吃下更大模型与更长上下文。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB HBM2e，存量推理集群的性价比选择。 |
| GeForce RTX 5090 | 32 GB GDDR7 | 104.80 TFLOPS | 575 W | 32GB GDDR7，个人/小团队本地推理够用，但无 ECC、不适合长时对外服务。 |
表内数字来自站内显卡档案库的厂商公布规格，用于横向比较；实际性能受驱动、散热与软件版本影响。想看完整规格，点型号进入详情页。
对外提供服务建议用。数据中心卡有 ECC 显存、被动/涡轮散热适合机架、7×24 稳定性验证与更长质保；消费卡适合内部验证和低并发自用，长时间满载的故障率和显存温度都不理想。
先看显存。显存不足会直接限制批量大小，表现为「加并发就 OOM」；如果显存还有余量但吞吐不涨，才是带宽或算力瓶颈。
取决于模型、上下文和量化。以 14B INT8、4K 上下文为例，24GB 卡通常是十几路；70B INT8、32K 上下文时，141GB 卡也只有个位数到十几路。务必用真实流量实测，别用厂商 demo 数字做容量规划。
单卡装得下就不需要。需要张量并行把大模型切到多卡时，NVLink 能显著降低通信开销；纯流水线并行或每卡独立服务，PCIe 足够。
扫码关注
