📚 课程目录第2章 AI工作负载特征分析

2. AI工作负载特征分析

在规划 Dell PowerEdge AI 计算节点之前，必须先回答一个基础问题：这台节点到底要跑什么负载？训练、推理、微调、HPC 四类负载对硬件资源的偏好差异极大，如果只按“AI 就是 GPU 越多越好”来选型，往往会在内存容量、存储带宽或网络拓扑上留下瓶颈。本节从资源画像入手，给出可量化的判断方法。

四类负载的资源画像

训练（Training）是最“重”的负载。它需要反复执行前向传播与反向传播，并保存激活值、梯度、优化器状态。以混合精度训练为例，一个 70 亿参数模型在 Adam 优化器下，仅模型权重、梯度、一阶/二阶动量就约占 16 字节/参数，即约 112 GB，再加上激活值，单卡显存往往不够，必须依赖张量并行、流水并行或数据并行。因此训练负载的核心诉求是：高 FP16/BF16 算力、大显存、高带宽卡间互联（NVLink/NVSwitch）、以及能承载大规模参数服务器或全分片数据并行的网络。 推理（Inference）关注的是单位时间吞吐与首 token 延迟。它不需要保存优化器状态，显存占用主要是权重加 KV Cache。KV Cache 大小可估算为：2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 批大小 × 精度字节数。例如 70 亿参数模型、32 层、32 头、头维度 128、序列 4096、批大小 8、FP16，KV Cache 约为 2×32×32×128×4096×8×2 ≈ 17 GB。推理负载对算力精度要求相对宽松，可接受 INT8/INT4 量化，但对显存容量、批处理调度和网络时延敏感。 微调（Fine-tuning）介于两者之间。全量微调接近训练，而 LoRA/QLoRA 等参数高效微调只更新少量适配器权重，显存需求大幅下降。以 LoRA 为例，可训练参数常低于原模型的 1%，优化器状态随之缩小，单张 80 GB 卡即可微调 70 亿参数模型。微调负载的特点是：训练轮次少、数据量中等、对存储读取带宽和检查点写入速度有阶段性高峰。 HPC 则更强调双精度（FP64）算力、内存带宽和低延迟互联。CFD、分子动力学、气象模拟等应用常使用 MPI 通信，对节点内内存通道数、NUMA 亲和性和 InfiniBand 网络延迟极为敏感，GPU 只是加速器而非唯一核心。

量化方法：把“感觉”变成“数字”

选型不能靠感觉，需要把负载翻译成可计算的资源需求。下面给出四类负载的量化公式与示例。

训练显存估算：总显存 ≈ 参数量 × (2 + 2 + 4 + 4) 字节（FP16 权重 + FP16 梯度 + FP32 一阶动量 + FP32 二阶动量）+ 激活值。以 70 亿参数为例，固定部分约 7B × 12 = 84 GB，若用 8 卡 80 GB 节点，单卡分摊约 10.5 GB，剩余显存用于激活值和通信缓冲。若采用 ZeRO-3 全分片，优化器状态和梯度进一步切分，单卡可训练更大模型。

推理 KV Cache 估算：KV Cache = 2 × 层数 × 头数 × 头维度 × 序列长度 × 批大小 × 精度字节。以 70 亿模型、32 层、32 头、头维度 128、序列 4096、批大小 8、FP16 为例，约 17 GB。若批大小提升到 32，KV Cache 增至约 68 GB，此时单卡 80 GB 已接近极限，需要引入 PagedAttention 或张量并行。

微调显存估算：LoRA 仅需存储原模型权重（冻结）+ 适配器权重 + 适配器优化器状态。以 70 亿模型、LoRA rank=16 为例，适配器参数量约 0.1%～0.5%，显存增量通常在 2～6 GB，单卡 80 GB 可轻松容纳。

HPC 内存带宽估算：以 CFD 为例，网格量 1 亿、每网格 100 个双精度变量，单步内存访问约 80 GB。若节点内存带宽为 300 GB/s，单步理论耗时约 0.27 秒。此时 GPU 加速比取决于计算/访存比，若算术强度低，则内存带宽成为瓶颈，而非 FP64 峰值。

存储与网络的需求差异

训练阶段需要频繁读取大规模数据集并周期性写入检查点。以 70 亿模型为例，单个检查点约 84 GB（含优化器状态），若每 30 分钟保存一次，存储写入带宽需持续支撑约 47 MB/s，看似不高，但多节点并行训练时，所有节点同时写入，聚合带宽可能达到数 GB/s。因此训练节点通常建议配置 NVMe SSD 本地缓存或高速并行文件系统客户端。

推理阶段的存储压力主要在模型加载和日志。模型文件约 14 GB（FP16），启动时一次性读取，之后主要依赖内存和显存。但若使用模型热更新或多模型切换，存储随机读性能会影响切换速度。

微调的存储压力集中在数据集读取和检查点写入，数据量通常小于预训练，但检查点频率可能更高，建议使用本地 NVMe 作为检查点暂存，再异步上传至共享存储。

HPC 的存储需求与具体应用相关， checkpoint 频率高、单文件大，通常依赖 Lustre/GPFS 等并行文件系统，节点本地盘仅作暂存。

网络方面，训练若采用数据并行，每步需 AllReduce 梯度，通信量与参数量成正比。70 亿参数 FP16 梯度约 14 GB，若每步 1 秒，则 AllReduce 带宽需求约 14 GB/s，远超单口 100 Gb/s（12.5 GB/s），因此需要 200 Gb/s 以上或 NVLink 域内通信。推理若为单机多卡，卡间通信主要是张量并行的激活值交换，延迟敏感但带宽要求低于训练。HPC 则依赖 InfiniBand 的 RDMA 和 MPI 集合通信，延迟通常要求低于 2 微秒。

选型对照与判断依据

负载类型	计算偏好	显存/内存	存储	网络	典型量化指标
训练	FP16/BF16 高算力	大显存，≥80 GB/卡	高写入带宽，检查点大	高带宽低延迟，NVLink/IB	显存≈16B/参数+激活值
推理	INT8/FP16，吞吐优先	显存受 KV Cache 约束	低，模型加载为主	时延敏感，可接受较低带宽	KV Cache=2·L·H·D·S·B·精度
微调	FP16/BF16，中等算力	LoRA 显存增量小	中，检查点频繁	中等带宽	可训练参数占比 <1%
HPC	FP64 高算力	大内存带宽，NUMA 敏感	并行文件系统	IB 低延迟，MPI 集合通信	内存带宽决定单步耗时

实操建议：在 Dell PowerEdge 选型时，先按上表确定负载类型，再用公式估算显存、内存和网络带宽。例如，若计划单节点 8 卡训练 70 亿模型，优先选择支持 NVLink/NVSwitch 的机型（如 XE9680），并配置至少 1 TB 系统内存和 4×200 Gb/s 或 8×100 Gb/s 网络；若以推理为主，可选用 XE8640 等 4 卡机型，重点核算 KV Cache 与批大小，网络可降至 100 Gb/s 级别。

常见误区：不要用训练节点的配置直接跑推理，也不要用推理节点的配置去微调大模型。训练节点的高互联和高显存对推理是浪费，而推理节点的显存和网络在训练时可能直接成为瓶颈。量化估算时，务必把激活值、KV Cache 和通信缓冲计入，否则会出现“显存够但跑不起来”的情况。

总结来说，训练看显存与互联，推理看 KV Cache 与吞吐，微调看适配器开销与检查点，HPC 看内存带宽与 MPI 延迟。把这四类负载的量化公式用起来，才能为后续的 Dell PowerEdge 节点规划提供可靠依据。