显存、卡数与单卡多卡，怎么配

先分清训练还是推理

训练对显存和算力的要求通常远高于推理。如果你只是部署一个已经训好的模型做推理服务，往往用不到最高端的卡；反之做大模型训练或微调，显存就是硬门槛。

显存够不够看模型规模

模型权重、激活值与批量大小共同决定显存占用。一个粗略判断：模型参数越大、批量越大，需要的显存越多。显存不足会直接报错或被迫调小批量，影响效率。

单卡还是多卡

单卡装得下就优先单卡，配置简单、没有跨卡通信开销。单卡显存不够时再上多卡，但多卡需要框架支持并行，且会有通信损耗，不是卡数越多越快。

CPU、内存与磁盘别忽略

数据预处理、数据加载常常卡在 CPU 与内存上，而不是 GPU。选规格时一并看清 CPU 核数、内存与磁盘空间，避免 GPU 空等数据。

用算力页比规格

平台算力页按 GPU 型号、显存、卡数、CPU 与内存列出规格与实时价格和库存。建议按任务挑两三个候选，小规模试跑确认能跑得动、跑得划算，再正式上量。