校级集群的核心指标是「有效卡时」和「利用率」，不是峰值算力。
结论：先按「院系提报的卡时需求 × 1.3」定规模，再按「单机 8 卡 + 高速互联 + 集中存储 + 调度」定架构。
验收必须带基线数据：NCCL 带宽、8 卡长时训练稳定性、存储读带宽——这三项决定了后续能不能顺利跑大模型训练。
校级集群的典型形态是「登录/管理节点 + 若干 GPU 训练节点 + 并行存储 + 高速网络 + 调度系统」。GPU 只在训练节点上，其他节点的钱花在管理、存储和网络上——这三块配不好，卡再多也跑不快。
第二段是网络。单机 8 卡靠 NVLink，跨机靠 IB 或高速以太。跨机训练对带宽与延迟敏感，很多集群「单机跑得挺好、跨机就崩」就是网络没设计好。
第三段是调度与配额。Slurm 的分区/QoS/账户体系是高校最常见的方案，K8s 更适合容器化与多租户。无论哪种，都要先把「谁能用多少卡、排队规则、超时回收」定下来。
| 环节 | 吃显存还是吃算力 | 精度口径 | 关键硬件特性 | 说明 |
|---|---|---|---|---|
| 训练节点（8 卡） | 算力 + 显存 + 互联 | FP16/BF16/FP8 | NVLink、HBM 容量、NVSwitch | 大模型训练主力 |
| 管理与登录节点 | 不涉及 GPU | — | CPU 核数、内存 | 跑调度与编译，别放 GPU |
| 并行存储 | 不涉及 GPU | — | IOPS、带宽、容量 | 数据加载常是训练瓶颈 |
| 跨机网络 | 不涉及 GPU | — | IB/以太带宽、延迟 | 跨机训练的关键 |
| 调度系统 | 不涉及 GPU | — | — | 决定利用率 |
| 型号 | 显存 | FP32 算力 | 功耗 | 在本场景里承担什么 |
|---|---|---|---|---|
| H100 SXM5 80 GB | 80 GB HBM3 | 66.91 TFLOPS | 700 W | SXM5 + NVLink，8 卡训练节点的标准配置。 |
| H200 SXM 141 GB | 141 GB HBM3e | 66.91 TFLOPS | 700 W | 141GB HBM3e，大模型训练与推理的容量解。 |
| A100 SXM4 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 400 W | 存量集群扩容与预算敏感项目的成熟选择。 |
| H100 PCIe 80 GB | 80 GB HBM2e | 51.22 TFLOPS | 350 W | PCIe 形态，适合推理节点与灵活扩容。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB，推理与教学节点，功耗可控。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 单机推理与中等训练，性价比路线。 |
点型号进详情页看完整规格与替代型号；不确定档位可以先看 分类 或 场景选型。
以上型号来自本站参数库，仅用于规格横向比较；实际供货以厂商中国区可售清单与合规要求为准，受出口管制的型号不在常规供货范围。
我们把校级平台按「三段交付」来做：算力段（NF5468M7 8 卡训练节点 + NF5280 管理节点）、数据段（并行存储 + 备份容灾）、网络段（IB/高速以太 + 带外管理），软件侧配调度与镜像仓库。
交付物包含：机房上架与布线、系统与驱动基线、调度平台部署与配额策略、以及一份验收报告（NCCL 带宽、稳定性、存储带宽）。后续按年提供运维与扩容服务，避免「建完就没人管」。
合规说明：我们提供的是整机平台、方案设计与交付服务；具体 GPU 型号以厂商中国区可售清单与贵司合规要求为准，受出口管制的型号不在常规供货范围。
先做卡时测算：把各院系提报的「峰值卡数 × 使用时长 × 利用率」加总，再乘 1.3。没有历史数据的学校，建议先建一个小规模（8–16 卡）平台跑半年，用真实利用率再定二期规模。
不必须，但跨机多卡训练对带宽敏感。规模小（1–2 台）可以先用以太，做大模型跨机训练时 IB 或高速以太（100G/200G）几乎是必须的。
常用 all_reduce 带宽测试（nccl-tests / ib_write_bw 等）分别在单机内与跨机跑，与同型号参考值对比；再配合 72 小时连续训练看有没有掉卡、降频或 ECC 错误。
以批量训练作业为主、需要严格配额 → Slurm；以容器化、多租户、推理服务为主 → K8s。很多学校是 Slurm 为主、K8s 做推理与教学实验环境。
扫码关注
