2. GPU硬件基础

在数据中心GPU集群的部署工作中，硬件兼容性判断的第一道门槛，是对GPU本身硬件架构与产品代际的准确理解。很多部署事故——例如驱动加载失败、NVLink带宽不达标、vGPU许可证无法绑定——追溯根因时，往往不是操作系统或虚拟化层的问题，而是选型阶段对GPU架构特性认知不足。本章从计算单元组织、显存层次、互连拓扑三个维度拆解GPU架构，再梳理NVIDIA、AMD、Intel三条主流产品线的关键差异，为后续章节的兼容性矩阵打下基础。

2.1 GPU核心架构：从SM/CU到显存与互连

GPU并非“很多个CPU核心的简单堆叠”。其架构设计的核心思想是大规模并行吞吐优先，牺牲单线程延迟换取单位面积内的计算密度。理解架构时，建议抓住三个层次：计算单元层次、显存层次、互连层次。

2.1.1 计算单元组织

NVIDIA将GPU内部的基本计算集群称为流式多处理器（SM，Streaming Multiprocessor），AMD对应称为计算单元（CU，Compute Unit），Intel则使用Xe核心（Xe Core）。尽管名称不同，其组织逻辑高度相似：

• SM/CU内部包含多个向量处理单元（CUDA Core / Stream Processor / Xe Vector Engine）、张量/矩阵加速单元（Tensor Core / Matrix Core / XMX）、共享内存（Shared Memory）、寄存器堆（Register File）以及调度器（Scheduler）。
• 线程调度粒度：NVIDIA以32线程为一组（Warp），AMD以64线程为一组（Wavefront），Intel以8线程为一组（EU Thread Group）。这一差异直接影响驱动层线程映射逻辑，在兼容性测试中，同一份OpenCL代码在不同厂商GPU上的调度行为可能不同。
• 张量单元是当前数据中心GPU的“心脏”。NVIDIA Tensor Core、AMD Matrix Core、Intel XMX均用于加速FP16/BF16/INT8矩阵运算，但各自的矩阵形状（如4x4、8x8）和精度支持范围不同，这决定了AI框架中算子融合策略的差异。

2.1.2 显存层次与带宽

显存是GPU性能的另一个决定性因素。数据中心GPU普遍采用HBM（高带宽内存）或GDDR6/GDDR6X。两者差异显著：

显存容量与带宽直接决定了单卡可承载的模型规模。例如，Llama 3 70B模型在FP16精度下权重约140GB，单张H100 80GB无法完整加载，必须依赖多卡张量并行或量化。而AMD MI300X的192GB显存则允许单卡加载部分70B级模型，减少跨卡通信开销。

2.1.3 互连层次：PCIe与NVLink/Infinity Fabric

多卡通信是集群部署的核心。当前互连分为两个层次：

• PCIe Gen5 x16：单方向带宽约64GB/s，用于跨节点通信或低带宽需求场景。所有厂商GPU均支持标准PCIe。
• 私有高速互连：NVIDIA使用NVLink（第四代NVLink单卡带宽900GB/s），AMD使用Infinity Fabric（MI300X单卡互连带宽896GB/s），Intel使用Xe Link（PVC卡间带宽约224GB/s）。私有互连的拓扑结构（全连接、环形、混合）直接影响多卡通信延迟。

在服务器选型时，必须确认主板PCIe Switch的通道分配是否与GPU互连拓扑匹配。例如，NVIDIA HGX H100基板采用8卡全连接NVLink拓扑，要求服务器主板提供8个PCIe Gen5 x16插槽且CPU到PCIe Switch的通道数足够，否则会出现“GPU间通信走PCIe而非NVLink”的降级情况。

2.2 主流厂商产品线梳理

当前数据中心GPU市场呈现NVIDIA主导、AMD追赶、Intel新进入的格局。三者的产品线定位、软件生态和硬件特性差异巨大，部署前必须明确选型边界。

2.2.1 NVIDIA产品线

NVIDIA数据中心GPU主要分为三个系列：

• A系列（Ampere架构）：A100（40GB/80GB）、A800（中国特供版，NVLink带宽受限）、A30。A100 80GB是上一代训练主力，支持FP16/BF16 Tensor Core，NVLink带宽600GB/s。
• H系列（Hopper架构）：H100（SXM/PCIe，80GB）、H200（141GB HBM3e）、H800（中国特供版）。H100引入Transformer Engine，对FP8精度优化显著，NVLink第四代带宽900GB/s。
• L系列（Ada Lovelace架构）：L40S、L4、RTX 6000 Ada。定位推理与图形渲染，L40S在FP8推理场景性价比高，但NVLink不支持或仅支持桥接，多卡扩展能力弱。

2.2.2 AMD产品线

AMD Instinct系列是数据中心主力：

• MI200系列（CDNA2架构）：MI210（64GB HBM2e）、MI250（128GB，双芯封装）。MI250在FP64计算上优势明显，适合科学计算。
• MI300系列（CDNA3架构）：MI300X（192GB HBM3）、MI300A（CPU+GPU融合封装）。MI300X显存容量大，单卡可承载更大模型，Infinity Fabric带宽896GB/s，但软件生态（ROCm）对PyTorch/TensorFlow的算子覆盖仍不如CUDA完整。

AMD的ROCm在PyTorch 2.x中已支持主要训练算子，但部分自定义CUDA扩展（如FlashAttention的某些优化版本）需要手动移植。部署前建议用rocm-smi检查驱动与固件版本，并验证目标框架的ROCm兼容性列表。

2.2.3 Intel产品线

Intel数据中心GPU目前以Max系列（Ponte Vecchio，PVC）为主：

• Max 1100：56个Xe核心，显存48GB HBM2e，带宽约1TB/s。
• Max 1550：128个Xe核心，显存128GB HBM2e，带宽约2.1TB/s，支持Xe Link互连。

Intel GPU在oneAPI生态下运行，支持SYCL/DPC++编程模型。对于已有CUDA代码的团队，迁移成本较高。目前Intel GPU在HPC科学计算领域有一定部署，但在AI训练生态中仍处于早期阶段。

2.3 架构差异对部署的直接影响

理解架构差异后，部署时需关注以下三个直接影响点：

1. 驱动与固件匹配：NVIDIA驱动（如550.x）与CUDA版本强绑定；AMD ROCm驱动（如6.x）与内核版本、GCC版本相关；Intel oneAPI驱动对特定Linux内核版本有要求。部署前必须确认GPU型号 + 操作系统内核 + 驱动版本 + 框架版本四者兼容矩阵。
2. 多卡通信拓扑：使用nvidia-smi topo -m（NVIDIA）或rocm-smi --showtopo（AMD）检查GPU间互连拓扑。若发现GPU间通信走PCIe而非NVLink/Infinity Fabric，需检查主板PCIe Switch配置或CPU NUMA节点绑定。
3. 显存容量与模型适配：在规划模型部署时，应先用公式估算显存需求：模型权重(FP16) + 优化器状态 + 激活值 + 通信缓冲区。例如7B模型FP16权重约14GB，加上Adam优化器状态（约28GB）和激活值，单卡40GB显存可能紧张。

2.4 选型复盘：一个真实案例

某团队计划部署8卡GPU集群用于Llama 3 8B微调。最初选择NVIDIA L40S（48GB显存，无NVLink），理由是单卡显存足够且价格较低。实际部署后发现：

• 8卡间通信依赖PCIe Gen5 x16，带宽仅64GB/s，而数据并行AllReduce通信量较大，训练吞吐仅为预期60%。
• L40S不支持NVLink P2P，PyTorch DDP在初始化时自动退化为GLOO后端，进一步增加通信延迟。

复盘结论：对于多卡训练场景，互连带宽比单卡显存容量更关键。若预算有限，可考虑4卡H100（NVLink全连接）或8卡A100（NVLink 600GB/s），而非8卡L40S。该案例说明，选型不能只看显存和算力，必须结合训练并行策略（DP/TP/PP）评估通信需求。

2.5 本章小结

GPU硬件基础是兼容性判断的底层依据。核心要点归纳如下：