选择 GPU

根据负载匹配 GPU。小模型推理：L4 或 RTX A5000；微调 7B–13B 模型：A100 80GB 或 H100；70B 以上的训练任务：带 NVLink 的 H100 SXM 或 H200。

对大多数 LLM 工作来说，vRAM 是首要约束——70B 模型在 FP16 精度下约需 140GB，4-bit 量化下约需 40GB。

社区云（Community Cloud）在经过单独审核的主机上以更低价格提供相同硬件；安全云（Secure Cloud）运行在 Tier 3/4 数据中心，符合 SOC 2 合规要求。