2. AI工作负载与硬件需求分析

在Supermicro AI服务器平台规划中，最容易犯的错误是“先选机型、再想负载”。正确的顺序恰好相反：先判断工作负载属于训练、推理、微调还是HPC，再量化它对显存、算力、互联带宽、存储IOPS和网络吞吐的需求，最后才把这些需求映射到具体的GPU型号、CPU配比、内存容量、NVMe数量和网络拓扑上。本节围绕这条主线，给出可操作的量化方法。

四类负载的本质差异

训练是“大batch、长时间、强同步”的负载。它需要把完整模型参数、梯度、优化器状态和激活值同时放进显存，因此显存容量往往先于算力成为瓶颈；同时，数据并行下的梯度All-Reduce、模型并行下的层间通信，使GPU间互联带宽成为决定扩展效率的关键。训练还要求高吞吐存储持续供给样本，否则GPU会因等待数据而空转。

推理是“低延迟、高并发、显存受限”的负载。它不需要保存优化器状态，但需要缓存KV Cache，且对首token延迟（TTFT）和每token延迟（TPOT）敏感。推理的算力需求通常低于训练，但对显存带宽、批处理调度和网络吞吐（尤其是多实例、多节点服务）要求很高。

微调介于两者之间。全参数微调接近训练；LoRA/QLoRA等参数高效微调则大幅降低显存和算力需求，但仍需前向与反向传播，因此对显存带宽和互联有一定要求。微调常是“短周期、多任务”，对存储IOPS和任务切换效率更敏感。

HPC以双精度/单精度浮点密集计算为主，典型如CFD、分子动力学、气象模拟。它依赖CPU-GPU协同、高带宽低延迟互联（InfiniBand）和并行文件系统，对FP64算力和网络延迟的要求往往高于AI训练。

显存：先算“必须放下什么”

显存需求可以按“权重+梯度+优化器状态+激活值+通信缓冲”逐项估算。以BF16训练为例，每参数权重2字节、梯度2字节、Adam优化器状态（一阶矩+二阶矩）8字节，合计约12字节/参数。一个70B模型仅这部分就约840GB，单张80GB GPU无法容纳，必须依赖张量并行或流水线并行。推理则简单得多：权重按精度折算，FP16约2字节/参数，INT8约1字节/参数，再叠加KV Cache。KV Cache大小约为 2 × 层数 × 头数 × 头维度 × 序列长度 × batch × 精度字节，长上下文场景下它可能超过权重本身。

算力：区分精度与利用率

训练算力常用“6 × 参数量 × token数”估算总FLOPs，再除以目标训练时间和GPU数量得到单卡所需算力。注意厂商标称的峰值算力是稀疏或特定精度下的理论值，实际可达比例受并行效率、通信开销和算子实现影响，规划时通常按峰值的30%～50%折算。推理算力则用“2 × 参数量 × 生成token数”估算，并重点关注显存带宽而非纯算力，因为自回归解码是访存密集型。

互联带宽：决定扩展效率

GPU间互联分为节点内和节点间。节点内NVLink带宽远高于PCIe，适合张量并行；节点间依赖InfiniBand或RoCE，适合数据并行和流水线并行。判断是否需要高速互联，可看通信量占比：数据并行下每步All-Reduce通信量约为2 × 参数量 × (N-1)/N，若通信时间超过计算时间，扩展效率就会骤降。规划时建议节点内优先NVLink，节点间至少200Gb/s起步，大规模训练推荐400Gb/s及以上。

存储IOPS与网络吞吐

存储需求由数据供给速率决定。假设单样本1MB、目标吞吐5000样本/秒，则需约5GB/s顺序读带宽；若数据以大量小文件存储，IOPS压力会显著上升，应改用大文件格式（如WebDataset、TFRecord）或并行文件系统。网络吞吐则要同时考虑东西向（GPU间、存储访问）和南北向（用户请求、模型分发）。推理服务中，网络吞吐需覆盖并发请求的输入输出token流量，并预留突发余量。

从需求到配置的映射示例

假设要部署一个70B模型的BF16推理服务，目标并发64、上下文4096。权重约140GB，KV Cache按上述公式估算约数十GB，单机8卡H100 80GB可满足显存。此时瓶颈转向显存带宽和网络吞吐，应选择NVLink全互联机型，并配置至少2×200Gb/s网卡做服务流量。若改为同模型的全参数微调，则显存需求跃升至800GB以上，需多机多卡并启用张量并行，互联带宽和存储IOPS成为新的规划重点。通过这种“负载→瓶颈→配置”的推导，才能让Supermicro平台的选型真正匹配业务。