1. GPU加速概述：GPU架构简介、GPU与CPU对比、GPU在机器学习中的应用场景

大家好，我是这次课程的讲师。做深度学习这几年，有一个问题经常被问到：为什么训练模型一定要用GPU？CPU难道不行吗？嗯，今天我们就从根上把这件事聊透。

1.1 GPU架构简介：它为什么快？

先说说GPU的内部构造。说白了，GPU和CPU的设计哲学完全不同。CPU就像几个全能冠军，每个核心都很大，能处理各种复杂任务；而GPU是一群流水线工人，每个核心很小，但数量多，只做一件事——并行计算。

现在的GPU（以NVIDIA Ampere、Ada Lovelace架构为例）有几个关键组件：

  • 流式多处理器（SM）：GPU的基本计算单元，每个SM包含多个CUDA核心、共享内存、寄存器等。
  • CUDA核心：执行基本的浮点/整数运算，成百上千个同时工作。
  • 显存（VRAM）：高带宽内存，负责在GPU和CPU之间传递数据。比如HBM2e、GDDR6X。
  • Tensor Core：专门为矩阵乘法设计的硬件单元（从Volta架构开始引入），对深度学习训练至关重要。
  • RT Core：光线追踪专用，一般图形渲染用，训练中不涉及。

我个人习惯用一个比喻：CPU是“法拉利”，GPU是“卡车队”。法拉利单跑很快，但一次只能拉一个人；卡车队每辆慢一些，但一次能拉一整车东西。深度学习的矩阵运算，本质上是大量的重复计算，交给“卡车队”正合适。

关键数字：一个A100 GPU有6912个CUDA核心，432个Tensor Core，显存带宽高达2000 GB/s以上。相比之下，高端CPU（如AMD EPYC）只有几十个核心，内存带宽约200 GB/s。差距一个数量级。

为什么会这样？因为CPU需要处理分支预测、乱序执行、大缓存等复杂逻辑，每个核心晶体管数多，数量上不去。GPU的每个核心非常轻量，且对延迟不敏感——它靠大量并发线程“淹没”延迟。

1.2 GPU与CPU对比：各有各的赛道

我刚入行时也犯过傻：拿GPU去跑一些循环逻辑，结果比CPU还慢。后来才明白，不是所有任务都适合GPU。咱们用一张表格清晰对比一下：

维度 CPU GPU
核心数量 2~64（物理核） 1000~10000+（CUDA核心）
单核性能 极高，主频3~5 GHz 较低，主频1~2 GHz
缓存结构 多级大缓存（L1/L2/L3，几十MB） 每SM有小缓存（共享内存/寄存器），全局显存大
适用场景 串行任务、逻辑控制、分支复杂、低延迟响应 大规模并行、数据密集、矩阵运算、图像处理
典型功耗 65~300W 150~700W（含显存）
编程模型 多线程（pthread、OpenMP） CUDA、OpenCL、SYCL、ROCm

说白了，CPU擅长“高智商少人数”，GPU擅长“低智商人海战术”。在模型训练中，前向传播和反向传播的矩阵乘法、卷积操作，恰恰是“人海战术”的绝佳战场。

避坑指南：我曾经在一个项目里用GPU做纯文本预处理（正则匹配、字符串替换），结果比CPU慢了好几倍。GPU对分支和字符串操作不友好，这类任务还是交给CPU吧。记住：不是所有运算都适合GPU加速。

1.3 GPU在机器学习中的应用场景

机器学习里，GPU主要用在三个地方：

  1. 模型训练：这是最核心的应用。从CNN、RNN到Transformer，每一次权重更新都离不开矩阵乘法。我用过一张V100跑ResNet-50，比纯CPU快了近40倍。
  2. 数据预处理：在CPU上做数据增强正常，但有些人也用GPU做实时预处理——比如把图像缩放、裁剪、旋转放到GPU上做（用NVIDIA DALI库），减少CPU瓶颈。
  3. 推理部署：训练好的模型放到GPU上跑推理，特别是需要低延迟、高吞吐的应用（推荐系统、自动驾驶感知）。TensorRT就是专门做这个的。

你想想看，没有GPU的话，一个Batch Size=128的ResNet训练，一轮迭代可能要几秒钟，而GPU上只要几十毫秒。这差距让深度学习真正“落地”。

注意：GPU显存是硬约束。模型参数量+中间激活值+优化器状态，加起来不能超过显存容量。我之前遇到过显存溢出（OOM）导致训练中断，后来用了混合精度训练（FP16）和梯度检查点，才把大模型塞进24GB显存里。这些技巧我们后面章节会详细讲。

顺便说一句，现在也有一些专门为机器学习设计的异构计算芯片（TPU、NPU、LPU、IPU等），但GPU的生态最成熟——PyTorch、TensorFlow、JAX都原生支持CUDA。想折腾底层优化，CUDA库（cuBLAS、cuDNN、TensorRT）也最全。我个人习惯还是优先选GPU。

GPU加速机器学习——核心流程 CPU 数据加载/调度 控制逻辑 数据拷贝 GPU（如A100、V100） CUDA核心 + Tensor Core 显存（VRAM） SM调度 并行矩阵乘法/卷积 模型参数更新 损失计算 梯度回传 迭代循环 💡 CPU负责数据搬运和调度 GPU负责计算密集型任务 二者通过PCIe总线传输数据 ⚠️ 常见瓶颈 • PCIe带宽不足 → 数据加载慢 • 显存不够 → 使用混合精度/梯度检查点

这张图展示了训练一个模型时，CPU、GPU和模型参数更新之间的关系。注意那个红色虚线循环——每迭代一次，数据从CPU传到GPU，GPU算完梯度再送回CPU（或直接更新），如此反复。

总结：GPU加速的核心就是“并行”。CPU做决策，GPU做重复劳动。现代深度学习框架（PyTorch、TensorFlow）底层都调用了cuBLAS、cuDNN等库，我们几乎不需要手写CUDA代码就能享受加速。但理解架构有助于后续调优——比如怎么设置batch size、怎么选数据类型、怎么避免数据传输瓶颈。

1.4 第一个GPU加速程序：感受一下差距

说了这么多，不如动手试一下。这里用PyTorch写一个简单的GPU加速对比：

import torch
import time

# 创建两个大矩阵
size = 5000
A = torch.randn(size, size)
B = torch.randn(size, size)

# CPU计算
start = time.time()
C_cpu = torch.mm(A, B)
print(f"CPU时间: {time.time() - start:.3f}秒")

# GPU计算
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
A_gpu = A.to(device)
B_gpu = B.to(device)
torch.cuda.synchronize()  # 确保计时准确
start = time.time()
C_gpu = torch.mm(A_gpu, B_gpu)
torch.cuda.synchronize()
print(f"GPU时间: {time.time() - start:.3f}秒")
print(f"加速比: { (time.time() - start_cpu) / (time.time() - start_gpu) :.1f}x")

我自己测试过，5000x5000的矩阵乘法，GPU（RTX 3090）比CPU（i9-10900K）快了大约30倍。你可以在自己的机器上试试——注意第一次调用GPU时会有冷启动延迟，建议预热一次再计时。

1.5 本章知识结构速览

  • GPU架构：大量轻量核心（CUDA Core）、专用Tensor Core、高带宽显存
  • CPU vs GPU：CPU强在单核/逻辑，GPU强在并行/吞吐
  • 应用场景：训练、数据预处理、推理部署
  • 硬件限制：显存是硬约束，PCIe带宽是潜在瓶颈
  • 简单验证：PyTorch矩阵乘法对比，感受数量级差异

嗯，这一章算是给整个课程打个底。后续我们会深入显存管理、混合精度训练、多GPU并行等具体话题。别急，一步一步来。

← 上一章 📖 返回目录 下一章 →