GPU基础：架构演进、与CPU的区别及AI计算优势
核心原理：从图形加速器到通用并行计算引擎
GPU（Graphics Processing Unit）最初设计目标是为图形渲染提供大规模并行浮点运算。早期GPU采用固定功能流水线（Fixed-Function Pipeline），顶点变换、光栅化、像素着色等阶段均由专用硬件完成，程序员无法改变其行为。2001年NVIDIA GeForce 3引入可编程顶点着色器，2006年NVIDIA发布CUDA（Compute Unified Device Architecture）并推出G80架构，首次将统一着色器（Unified Shader）阵列用于通用计算，GPU从此从“图形专用芯片”演变为“通用并行处理器”。
现代GPU架构的核心设计思想是“以大量简单核心换取吞吐量”。以NVIDIA Ampere架构A100为例，其内部包含108个SM（Streaming Multiprocessor），每个SM包含64个FP32 CUDA核心，总计6912个CUDA核心。这些核心被组织为SIMT（Single Instruction Multiple Thread）模式：同一指令被多个线程同时执行，但每个线程处理不同数据。这种设计非常适合矩阵乘法、卷积等AI计算中大量存在的“数据并行”任务。
- Fermi（2010）：首个完整支持ECC内存、真正可编程Cache层次结构的架构，奠定GPGPU计算基础。
- Kepler（2012）：引入GK110核心，SMX单元设计，提升功耗效率，支持动态并行。
- Volta（2017）：引入Tensor Core（张量核心），专门加速矩阵乘加运算，AI训练性能跃升。
- Ampere（2020）：第三代Tensor Core支持TF32、BF16精度，引入稀疏化计算加速。
- Hopper（2022）：新增Transformer Engine，针对Transformer模型动态精度调整，NVLink 4.0互联带宽达900GB/s。
GPU与CPU的本质区别
CPU与GPU的设计哲学截然不同。CPU追求低延迟，其内部大量晶体管用于分支预测、乱序执行、大容量Cache等控制逻辑，以加速单线程执行；GPU追求高吞吐量，将更多晶体管用于算术逻辑单元（ALU），通过数千个线程同时运行来掩盖访存延迟。
| 对比维度 | CPU | GPU |
|---|---|---|
| 核心数量 | 8~64个高性能核心 | 数千个（A100达6912个） |
| 核心频率 | 3.0~5.0GHz | 1.1~1.8GHz |
| 内存带宽 | ~200GB/s（DDR5） | 1.6~3.35TB/s（HBM） |
| 控制逻辑占比 | 约40%晶体管 | 约10%晶体管 |
| Cache容量 | 数十MB（L3） | 每SM独立L1，共享L2（40MB） |
| 任务类型 | 串行、复杂逻辑、OS调度 | 并行、简单算术、矩阵运算 |
| 编程模型 | 线程/进程 | CUDA/OpenCL Kernel |
GPU在AI计算中的核心优势
AI计算（尤其是深度学习）具有三个显著特征：海量数据、密集矩阵运算、容错性高。GPU恰好在这三方面具备天然优势。
优势一：大规模并行计算能力
以一次全连接层前向传播为例，输入向量X（维度1×4096）与权重矩阵W（维度4096×4096）相乘，需要约1600万次乘加运算。在CPU上，这需要串行或少量并行完成；在A100 GPU上，6912个CUDA核心可同时计算不同输出神经元的部分和，配合Tensor Core的4×4矩阵分块加速，单次矩阵乘法耗时可缩短至微秒级。
优势二：超高内存带宽
AI模型参数和中间激活值需要频繁在计算单元与显存之间搬运。A100配备HBM2e显存，带宽达1.6TB/s，是同期DDR5服务器内存（约200GB/s）的8倍。这意味着GPU能在相同时间内读取8倍多的数据，有效避免“内存墙”瓶颈。
优势三：专用硬件加速单元
Tensor Core是GPU为AI计算专门设计的硬件单元，支持FP16、BF16、TF32、INT8等精度下的矩阵乘加运算。以FP16为例，A100的Tensor Core峰值算力达312 TFLOPS（稠密），是FP32 CUDA核心算力（19.5 TFLOPS）的16倍。对于Transformer等模型，Hopper架构进一步引入Transformer Engine，可在FP8与FP16之间动态切换精度，兼顾训练速度与模型收敛质量。
优势四：成熟的软件生态
NVIDIA CUDA生态提供了cuBLAS（线性代数库）、cuDNN（深度神经网络库）、NCCL（多卡通信库）等高度优化的底层库。PyTorch、TensorFlow等框架通过自动调用这些库，使开发者无需直接编写CUDA代码即可获得接近硬件极限的性能。
在相同数据集（ImageNet）和相同超参数下，使用8×V100 GPU训练ResNet-50达到75%准确率约需1小时；而使用8×CPU（Intel Xeon Platinum 8380）训练，同样任务需要超过3天。GPU的并行计算能力带来了约70倍的训练加速。
常见误区与复盘
并非如此。GPU加速效果取决于任务的可并行度。对于小批量、强依赖的串行任务（如某些图神经网络中的逐节点递归计算），GPU可能无法发挥优势，甚至因数据拷贝开销而比CPU更慢。Amdahl定律同样适用于GPU：若任务中10%必须串行执行，即使并行部分无限加速，整体加速比上限仅为10倍。
显存大小只是限制条件之一。模型能否训练还取决于显存带宽、计算精度、通信效率等因素。例如，即使显存足够容纳模型参数，若Tensor Core利用率低（如大量非矩阵运算），训练速度仍会受限。实际中需通过Profiler工具分析计算、访存、通信占比，针对性优化。
推理场景中，若模型较小（如<100MB）且对延迟极度敏感（如实时语音交互），CPU或专用ASIC（如Google TPU、华为昇腾）可能更合适。GPU的功耗和成本较高，需根据业务场景权衡。例如，轻量级模型在CPU上推理延迟约5ms，而GPU因PCIe传输开销可能达到10ms。
复盘：如何选择计算平台
- 分析任务特征：计算密集度、数据并行度、精度要求、延迟敏感度。
- 评估数据规模：训练数据量、模型参数量、Batch Size大小。
- 考虑生态兼容：现有代码库是否依赖CUDA、是否有GPU驱动和容器环境。
- 核算成本：硬件采购/租赁费用、功耗、散热、机房改造成本。
- 测试验证：使用NVIDIA Nsight、nvidia-smi等工具进行性能剖析，对比CPU/GPU实际表现。
GPU凭借其大规模并行架构、超高内存带宽、专用Tensor Core以及成熟软件生态，已成为AI训练和推理的主流计算平台。理解其架构演进脉络和与CPU的本质差异，有助于在实际AI集群设计中做出合理的硬件选型与任务分配决策。