2、GPU硬件基础：NVIDIA GPU架构演进、显存与带宽、互联技术
大家好，我是你们的老朋友。今天咱们聊聊GPU硬件。说实话，搞GPU集群调度，不懂硬件就是盲人摸象。你想想看，调度策略再牛，碰上硬件瓶颈也是白搭。我个人习惯，先摸清家底再动手。这一章，咱们就掰开揉碎了看看NVIDIA GPU到底是怎么一回事。
2.1 NVIDIA GPU架构演进：从Kepler到Hopper
NVIDIA的架构迭代，说白了就是一场算力军备竞赛。我最早接触的是Kepler架构，那时候还在做深度学习刚起步的实验。嗯，现在回头看，那会儿的卡真是“小水管”。
咱们直接看几个关键节点：
| 架构代号 | 代表型号 | 核心亮点 | 我印象最深的事 |
|---|---|---|---|
| Kepler (2012) | K80 | 首次引入GPU Direct | 当年调K80做多卡通信，那叫一个折腾 |
| Maxwell (2014) | M40 | 动态并行、显存压缩 | 显存压缩技术让大模型训练成为可能 |
| Pascal (2016) | P100 | NVLink 1.0、统一内存 | NVLink第一次出现，我激动了好几天 |
| Volta (2017) | V100 | Tensor Core、独立线程调度 | Tensor Core简直是AI训练的核武器 |
| Turing (2018) | T4 | RT Core、INT8推理优化 | T4做推理，性价比之王 |
| Ampere (2020) | A100 | 第三代Tensor Core、MIG | MIG功能，我用来做多租户隔离，真香 |
| Hopper (2022) | H100 | Transformer Engine、DPX指令 | 专门为Transformer优化，大模型时代的标配 |
为什么会这样演进？说白了，应用在倒逼硬件。早期做图像渲染，后来做科学计算，再后来AI爆发。每一次架构升级，都在解决上一代最头疼的问题。
核心观点：架构演进不是简单的堆核心数，而是围绕“计算密度”和“数据搬运效率”两条主线。Tensor Core的出现，让矩阵乘法快了10倍以上。NVLink的迭代，让多卡通信不再是瓶颈。
2.2 GPU显存与带宽：你的模型能塞多大？
显存，就是GPU的“内存”。你训练大模型，模型参数、梯度、优化器状态全得塞进去。带宽，就是显存到计算核心的“高速公路”。
我遇到过最坑的事：有一次训练一个千亿参数模型，显存刚好够，但带宽不够。结果GPU计算核心大部分时间在等数据，利用率不到30%。嗯，这就是典型的“显存够用，带宽不够”的尴尬。
咱们看看几代显存的差异：
| GPU型号 | 显存容量 | 显存类型 | 带宽 (GB/s) | 我的评价 |
|---|---|---|---|---|
| V100 32GB | 32 GB | HBM2 | 900 | 经典款，但显存偏小 |
| A100 80GB | 80 GB | HBM2e | 2039 | 带宽翻倍，大模型入门卡 |
| H100 80GB | 80 GB | HBM3 | 3350 | 带宽怪兽，但价格也怪兽 |
你想想看，H100的带宽是3350 GB/s，这意味着什么？一秒钟能搬3.3TB的数据。但即便如此，对于万亿参数模型，数据搬运依然是瓶颈。
避坑指南：我曾经在调度任务时，只看显存容量，不看带宽。结果把一个大模型任务调度到了V100上，虽然显存够，但训练速度慢得离谱。后来我学乖了：带宽不够，核心再多也白搭。调度时，带宽和显存要一起看。
2.3 GPU互联技术：NVLink与NVSwitch
单卡再强，也干不过集群。多卡通信，是分布式训练的命门。NVLink和NVSwitch，就是NVIDIA给出的答案。
2.3.1 NVLink：点对点的高速通道
NVLink是GPU之间的直连通道。最早在Pascal上出现，当时是4条链路，每路20 GB/s。到了A100，升级到12条链路，每路50 GB/s，总带宽600 GB/s。H100更进一步，18条链路，总带宽900 GB/s。
为什么需要这么高的带宽？因为分布式训练中，梯度同步是最大的开销。你想想看，每个GPU算完自己的梯度，要立刻告诉其他GPU。如果走PCIe，带宽只有几十GB/s，根本不够用。
关键数据：NVLink 4.0 (H100) 单链路带宽 50 GB/s，双向 100 GB/s。8卡H100通过NVSwitch全互联，总带宽可达 7.2 TB/s。这个数字，PCIe Gen5 x16 只有 64 GB/s，差了100多倍。
2.3.2 NVSwitch：全互联的交换机
NVLink解决了点对点通信，但8卡以上怎么办？NVSwitch就是干这个的。它像一个交换机，让所有GPU都能以NVLink的速度互相通信。
我记得第一次搭建DGX A100集群时，看到NVSwitch的拓扑图，心里直呼“牛X”。8个GPU通过NVSwitch全互联，任意两个GPU之间的通信延迟只有微秒级。
咱们画个图，看看NVSwitch的拓扑结构：
这个图很直观：所有GPU都连接到NVSwitch，形成一个全互联的拓扑。你想想看，8个GPU同时做AllReduce，数据流就像流水一样顺畅。
注意：NVSwitch虽然牛，但也不是万能的。我曾经遇到一个问题：任务调度时，没有考虑NVSwitch的端口分配。结果8个GPU虽然物理上连了NVSwitch，但实际通信走了PCIe，性能直接腰斩。后来我学到一个原则：调度任务时，优先把同一个NVSwitch域内的GPU分配给同一个任务。
2.4 实战经验：如何利用硬件特性做调度
说了这么多理论，咱们来点实际的。我在做GPU集群调度时，总结了几个原则：
- 显存优先：先看任务需要多少显存，再分配GPU。显存不够，一切免谈。
- 带宽匹配：大模型训练任务，优先分配带宽高的GPU（比如H100 > A100 > V100）。
- 拓扑感知：多卡任务，尽量分配在同一个NVSwitch域内。跨域通信，性能会下降30%-50%。
- MIG隔离：小任务可以用MIG切分A100/H100，但要注意MIG实例之间的带宽共享。
我的小技巧：在调度系统中，我会维护一个“GPU拓扑图”，记录每个GPU的NVLink连接情况。调度时，优先选择拓扑距离最近的GPU。这个优化，让大模型训练速度提升了20%以上。
好了，这一章的内容就到这里。硬件是基础，但调度是艺术。理解了GPU的架构、显存和互联技术，你才能做出高效的调度策略。下一章，咱们聊聊具体的调度算法和实现。