3. 硬件与基础设施规划：GPU/TPU选型、服务器配置、网络架构、存储方案
3.1 核心原理：算力、带宽与存储的“木桶效应”
AI训练平台的硬件规划本质上是一个系统工程，其核心原理可以概括为“木桶效应”：模型训练的端到端吞吐量，取决于计算、通信、存储三者中最短的短板。许多团队初期只关注GPU的峰值算力，却忽视了数据加载瓶颈或跨节点通信延迟，最终导致昂贵的GPU利用率长期低于30%。
规划时必须建立三个关键量化视角：
- 算力视角：以每秒浮点运算次数（TFLOPS）衡量，但需区分FP16/BF16混合精度与FP32的峰值差异，实际训练中还要考虑算子效率（通常为峰值的40%~60%）。
- 通信视角：数据并行或张量并行产生的梯度同步、激活重计算通信量，决定了需要InfiniBand还是RoCE（RDMA over Converged Ethernet）网络。
- 存储视角：训练样本的读取吞吐量（GB/s）与检查点（Checkpoint）写入延迟，直接影响GPU空等时间。
规划口诀：先定模型与数据规模，再反推算力总量；算力总量决定卡数，卡数决定网络拓扑；数据规模决定存储容量与带宽。
3.2 方法流程：从需求分析到硬件选型的五步法
硬件规划必须遵循“需求驱动选型”的流程，切忌直接照搬他人配置。推荐以下五步法：
- 定义训练负载特征：明确模型类型（CV、NLP、多模态）、参数量、训练数据规模、期望的迭代周期（如每天训练多少轮）。例如，训练一个70B参数的LLM，使用Adam优化器，仅参数状态就需要 70B × 16字节（FP32主权重+FP32动量+FP32方差）≈ 1.12TB显存，这决定了必须采用多卡并行策略。
- 估算总算力需求：根据模型参数量N和训练token数D，利用经验公式
算力需求 ≈ 6 × N × D（FLOPs）。假设N=70B，D=1T tokens，则总算力约 4.2×10²³ FLOPs。若使用单卡H100（FP16约989 TFLOPS），理论需 4.2×10²³ / (989×10¹²) ≈ 4.25×10⁸ 秒 ≈ 13.5年，显然不现实，因此需要512卡集群将时间压缩到约10天。 - 确定并行策略与卡数：根据显存容量和通信开销选择数据并行（DP）、张量并行（TP）、流水线并行（PP）的组合。例如，8卡A100（80GB）节点内可采用TP=8，跨节点采用DP。
- 反推网络与存储规格：若采用DP，每步需同步梯度，通信量约等于模型参数量×梯度字节数（如FP32为4字节）。对于70B模型，单次梯度同步数据量为 70B×4 = 280GB。若要求1秒内完成同步，则聚合带宽需 ≥ 2.24Tbps，这决定了需要InfiniBand NDR 400Gbps × 至少6条链路。
- 制定存储分层方案：热数据（当前训练集）放NVMe本地盘或高性能并行文件系统；温数据（历史数据集）放NAS；冷数据（备份、归档）放对象存储。
3.3 案例/场景：中型企业多模态训练平台配置实例
某公司需训练一个 13B 参数的多模态模型（图文联合训练），数据集约 50TB，期望每 3 天完成一轮训练（约 5000 步）。以下是经过五步法推导出的配置方案：
| 类别 | 选型 | 关键参数 | 数量 | 用途说明 |
|---|---|---|---|---|
| GPU服务器 | NVIDIA DGX H100 | 8× H100 80GB，NVLink 900GB/s | 8台 | 总计64卡，满足算力需求 |
| 管理节点 | 通用x86服务器 | 64核/512GB内存 | 2台 | K8s Master + 调度 |
| 网络交换机 | NVIDIA Quantum-2 IB | 400Gbps，Radix 64 | 2台（脊） | Fat-Tree拓扑，无阻塞 |
| 存储（热） | NVMe全闪阵列 | 50TB，读吞吐 20GB/s | 1套 | 当前训练数据集缓存 |
| 存储（温） | NAS（NFS/GPFS） | 200TB，10GB/s | 1套 | 历史数据、代码、模型 |
| 存储（冷） | 对象存储（MinIO） | 1PB，S3兼容 | 1套 | 备份、归档、模型仓库 |
该方案的关键设计在于：计算网络与存储网络分离。GPU节点间通过IB网络通信，而数据加载走独立的25GbE存储网络，避免数据读取干扰梯度同步。实际运行中，GPU平均利用率达到 78%，训练吞吐量比初始单机方案提升了 11 倍。
3.4 误区/复盘：硬件规划中的常见陷阱
误区一：盲目追求“顶级卡”而忽略显存容量
例如，训练大模型时，A100 80GB 可能比 H100 64GB 版本更合适，因为显存不足会导致序列长度受限或需要更多张量并行，反而增加通信开销。复盘建议：先算显存需求，再比较算力。
例如，训练大模型时，A100 80GB 可能比 H100 64GB 版本更合适，因为显存不足会导致序列长度受限或需要更多张量并行，反而增加通信开销。复盘建议：先算显存需求，再比较算力。
误区二：低估网络的重要性，使用千兆以太网跑分布式训练
曾有团队用 8 台 8×V100 服务器通过 10GbE 组网，结果梯度同步耗时是计算耗时的 5 倍，GPU 利用率不足 20%。复盘建议：数据并行规模超过 4 卡时，必须使用 RDMA 网络（IB 或 RoCEv2）。
曾有团队用 8 台 8×V100 服务器通过 10GbE 组网，结果梯度同步耗时是计算耗时的 5 倍，GPU 利用率不足 20%。复盘建议：数据并行规模超过 4 卡时，必须使用 RDMA 网络（IB 或 RoCEv2）。
误区三：将所有数据都放在对象存储中直接训练
对象存储的延迟较高（毫秒级），不适合频繁小文件读取。某团队直接让训练框架从 MinIO 读取 TFRecord，导致数据加载成为瓶颈。复盘建议：采用“对象存储 → 本地NVMe缓存 → 训练框架”的分层流水线，或使用
对象存储的延迟较高（毫秒级），不适合频繁小文件读取。某团队直接让训练框架从 MinIO 读取 TFRecord，导致数据加载成为瓶颈。复盘建议：采用“对象存储 → 本地NVMe缓存 → 训练框架”的分层流水线，或使用
tf.data 的预取机制。
复盘清单（每次硬件扩容前自查）：
- 是否已用
nvidia-smi和nsys分析过当前 GPU 利用率与瓶颈？ - 是否测过节点间实际带宽（如用
ib_write_bw）？ - 存储系统能否支撑 2 倍于当前数据规模的增长？
- 电源和散热是否满足峰值功耗（DGX H100 满载约 10kW/台）？
硬件规划不是一次性工作，而是伴随模型迭代持续优化的过程。建议每季度复盘一次资源利用率，结合训练日志中的 GPU利用率、数据加载等待时间、网络吞吐量 三个核心指标，动态调整各层资源配置，才能真正实现算力成本与训练效率的最佳平衡。