VLM 的显存账里，「图像 token」往往比参数量更占地方。
结论：7B 级 VLM LoRA 微调 24–48GB；13B–32B 需 48–80GB；多图 + 长上下文会显著抬高显存，按「图像数 × token 数」估算。
端侧部署必须量化（INT8/INT4），并且要接受精度损失；机器人本体的功耗上限常是真正约束。
链路是「多相机图像 → 视觉编码 → 语言/动作解码 → 决策输出」。GPU 在训练与推理；推理时图像分辨率与帧数直接决定延迟与显存。
第二段是端云分工：复杂推理上云/机房，实时控制留本体；这个切分决定了硬件预算怎么分。
| 环节 | 吃显存还是吃算力 | 精度口径 | 关键硬件特性 | 说明 |
|---|---|---|---|---|
| VLM 训练（LoRA） | 显存 + 算力 | BF16 | 显存容量、Tensor Core | 24–80GB 按参数量 |
| 多图长上下文 | 显存 | BF16/FP16 | 显存容量 | 图像 token 占大头 |
| 推理（机房） | 算力 + 显存 | FP16/INT8 | 显存容量、批处理 | 按并发规划 |
| 端侧推理 | 低功耗算力 | INT8/INT4 | 功耗、显存共享 | 必须量化压缩 |
| 型号 | 显存 | FP32 算力 | 功耗 | 在本场景里承担什么 |
|---|---|---|---|---|
| RTX 6000 Ada Generation | 48 GB GDDR6 | 91.06 TFLOPS | 300 W | 48GB，7B–13B VLM 微调。 |
| A100 PCIe 80 GB | 80 GB HBM2e | 19.49 TFLOPS | 300 W | 80GB，32B 级与多图长上下文。 |
| L40S | 48 GB GDDR6 | 91.61 TFLOPS | 300 W | 48GB 机架形态，机房推理服务。 |
| Jetson AGX Orin 64 GB | 64 GB LPDDR5 | 5.33 TFLOPS | 60 W | 本体端侧推理平台。 |
点型号进详情页看完整规格与替代型号；不确定档位可以先看 分类 或 场景选型。
以上型号来自本站参数库，仅用于规格横向比较；实际供货以厂商中国区可售清单与合规要求为准，受出口管制的型号不在常规供货范围。
LoRA 微调常见 24–48GB；多图输入与长上下文会额外增加，建议按实际图像数与 token 数实测。
可以但要量化（INT8/INT4）并降分辨率。功耗与散热是硬约束，算力往往不是。
很大。降分辨率或减少每帧图像数，往往比换更大显存的卡更有效。
扫码关注
