AI算力基础：AI计算的特点、算力需求分析与常见工作负载
在深入讨论AI集群的硬件架构之前，必须先厘清一个根本问题：AI计算与传统计算到底有何不同？只有理解了AI计算的本质特征，才能明白为什么GPU、DPU、HBM、NVLink这些专用硬件会应运而生，也才能在实际选型时做出合理的取舍。
2.1 AI计算的核心特点
AI计算，尤其是深度学习训练，与传统的高性能计算（HPC）或通用云计算有着显著差异。我们可以从以下四个维度来观察：
| 维度 | 传统计算（CPU主导） | AI计算（加速器主导） |
|---|---|---|
| 指令模式 | 控制流复杂，分支预测、乱序执行 | 数据流简单，大量并行重复运算 |
| 数据精度 | FP64/FP32 高精度为主 | FP16/BF16/INT8 混合精度为主 |
| 访存模式 | 随机访问、缓存命中率敏感 | 流式访问、高带宽连续读取 |
| 瓶颈所在 | 延迟敏感（Latency-bound） | 吞吐敏感（Throughput-bound） |
其中最关键的一点是：AI计算是“吞吐优先”而非“延迟优先”。单个矩阵乘法的延迟降低10%可能意义不大，但单位时间内完成的矩阵乘法次数（即吞吐量）提升10%，直接决定了训练一个模型需要多少天。因此，AI硬件设计的核心目标就是最大化单位功耗、单位面积下的并行计算吞吐量。
另一个容易被忽视的特点是精度宽容度。神经网络的反向传播算法对梯度噪声有天然的鲁棒性，这使得FP16、BF16甚至INT8精度在大多数场景下可以替代FP32，而模型精度损失可以控制在可接受范围内。这一特性直接催生了Tensor Core、NPU等专用电路的设计——它们牺牲动态范围，换取数倍于FP32的吞吐量。
2.2 算力需求分析方法
在实际规划AI集群时，我们经常需要回答一个问题：“训练一个千亿参数模型，到底需要多少张GPU？”这个问题不能凭经验拍脑袋，而应该通过一套可量化的方法进行估算。
算力需求分析的基本公式如下：
总算力需求（FLOPs）= 模型参数量 × 训练Token数 × 前向+反向计算系数（通常为6）以训练一个130亿参数的LLaMA模型、使用1.4万亿Token为例：
总算力 = 1.3e10 × 1.4e12 × 6 ≈ 1.09e23 FLOPs假设使用单张H100 GPU，其FP16稠密算力约为989 TFLOPS（约1e15 FLOPs/s），且实际训练效率（MFU，模型浮点利用率）通常只有40%~55%。那么单卡所需时间约为：
时间 = 1.09e23 / (1e15 × 0.5) ≈ 2.18e8 秒 ≈ 2526 天显然单卡不可行。若目标是在30天内完成训练，则需要：
卡数 = 2526 / 30 ≈ 84 张 H100这只是一个粗略估算，实际还需要考虑通信开销、数据加载瓶颈、Checkpoint保存时间等因素。但通过这个公式，我们可以快速判断一个方案在算力层面是否可行，再结合显存容量、互联带宽做进一步验证。
2.3 常见AI工作负载类型
不同AI工作负载对硬件资源的需求差异极大。我们将常见负载分为以下四类，并分析各自的硬件敏感点。
2.3.1 大模型预训练（Pre-training）
这是对算力、显存、互联要求最高的场景。以GPT-4级别的模型为例，训练集群通常需要数千张GPU，且对卡间通信带宽极度敏感。这类负载的特点是：
- 计算密集：矩阵乘法占比超过90%，适合Tensor Core/NPU。
- 显存密集：模型参数、梯度、优化器状态需要数百GB显存，必须采用张量并行、流水线并行、数据并行等策略。
- 通信密集：每次梯度同步都需要All-Reduce操作，网络拓扑和网卡带宽直接决定扩展效率。
2.3.2 微调与适配（Fine-tuning / PEFT）
微调通常基于已有预训练模型，在特定领域数据上进行少量迭代。其算力需求比预训练低1~2个数量级，但对显存容量和灵活性有要求。LoRA、QLoRA等参数高效微调方法进一步降低了对显存的需求，使得单卡或双卡微调成为可能。这类负载对集群规模要求不高，但对开发调试的便利性、多租户隔离能力有较高要求。
2.3.3 推理服务（Inference）
推理负载与训练负载的硬件需求截然不同。推理是延迟敏感的，用户期望几百毫秒内得到响应。其特点包括：
- 低延迟：需要高主频、低延迟的处理器，而非单纯追求吞吐。
- 动态形状：输入Token长度不固定，对批处理调度（Continuous Batching）有要求。
- 显存带宽瓶颈：自回归生成是访存密集型的，显存带宽（HBM带宽）往往比算力更关键。
在推理场景中，量化（INT8/INT4）是常用的优化手段，可以在几乎不损失精度的情况下将吞吐提升2~4倍。
2.3.4 数据预处理与多模态负载
这类负载包括图像/视频解码、文本清洗、向量化嵌入（Embedding）等。它们通常由CPU集群完成，但在大规模多模态训练中，数据预处理可能成为流水线瓶颈。此时需要引入GPU加速的数据处理库（如RAPIDS、TorchData）或专用的数据加载节点。
2.4 典型场景复盘：一个千亿参数模型的集群规划
我们以一个实际案例来串联上述概念。假设某公司计划训练一个700亿参数的稠密语言模型，训练数据量为2万亿Token，目标在60天内完成。
第一步：估算总算力
总算力 = 7e10 × 2e12 × 6 = 8.4e23 FLOPs第二步：选择加速卡并估算数量
选用NVIDIA H100 SXM（FP16稠密算力989 TFLOPS，假设MFU=45%）：
有效算力/卡 = 989e12 × 0.45 ≈ 4.45e14 FLOPs/s
单卡所需时间 = 8.4e23 / 4.45e14 ≈ 1.89e9 秒 ≈ 21875 天
所需卡数 = 21875 / 60 ≈ 365 张第三步：验证显存容量
700亿参数在FP16下需要140GB显存（仅参数）。加上Adam优化器状态（2倍参数大小）和梯度（1倍），总计约4倍，即560GB。单张H100显存80GB，因此至少需要8张卡进行张量并行才能放下模型状态。365张卡可以组成约45个8卡节点，满足显存需求。
第四步：验证通信瓶颈
365张卡若采用数据并行，每步迭代需要All-Reduce同步约140GB的梯度。在NVLink（900GB/s）域内通信没有问题，但跨节点通信依赖InfiniBand（400Gbps）。假设每节点8卡，跨节点通信量为每卡17.5GB，在400Gbps（50GB/s）下需要约0.35秒。若每步计算时间为2秒，通信占比约15%，尚可接受。若使用200Gbps网络，通信占比将升至30%，训练效率明显下降。