4. GPU概述
GPU（Graphics Processing Unit，图形处理器）最初为图形渲染而生，如今已成为AI训练与HPC（高性能计算）的核心算力引擎。理解GPU的架构演进、核心计算单元以及NVIDIA产品线，是掌握DPU/GPU/NVLink异构互联体系的基础。本章从架构、核心、应用与产品四个维度展开。
一、GPU架构演进：从固定管线到通用并行计算
GPU架构的演进大致可分为四个阶段。第一阶段是固定功能图形管线，硬件电路专用于顶点变换、光栅化与像素着色，不可编程。第二阶段是可编程着色器，顶点与像素着色器支持指令编程，但资源调度仍以图形任务为中心。第三阶段是统一着色器架构（Unified Shader），NVIDIA在2006年推出G80（Tesla架构），将顶点、几何、像素着色器统一为通用流处理器，首次引入CUDA，使GPU具备通用并行计算能力。第四阶段是面向AI的专用加速架构，从Volta开始引入Tensor Core，Ampere、Hopper、Blackwell持续强化低精度矩阵运算、稀疏计算与显存带宽。
架构演进的核心逻辑是：把更多晶体管从图形固定逻辑转移到可编程并行计算单元，并针对矩阵乘加等AI核心算子做专用加速。这一趋势直接决定了GPU在异构计算中的角色——从图形协处理器变为通用算力加速器。
二、CUDA核心与Tensor核心：两种计算单元的分工
CUDA核心（CUDA Core）是GPU的通用标量/向量浮点运算单元，每个核心每时钟周期可执行一次FMA（融合乘加）操作，擅长处理元素级运算、控制逻辑、非规则计算。一个SM（Streaming Multiprocessor）通常包含数十至上百个CUDA核心，配合寄存器堆、共享内存与调度器组成完整计算单元。
Tensor核心（Tensor Core）是专为矩阵乘加设计的脉动阵列单元，可在单条指令内完成4×4或更大矩阵的乘加运算，支持FP16、BF16、TF32、FP8、INT8等低精度格式。以Hopper架构为例，单个Tensor Core的矩阵吞吐量可达同代CUDA核心的数十倍。两者分工明确：CUDA核心负责通用逻辑与数据搬运，Tensor核心负责密集矩阵运算。
三、GPU在AI/HPC中的作用
在AI领域，GPU承担了深度学习训练与推理的绝大部分算力。训练阶段，前向传播与反向传播涉及大量矩阵乘法、卷积和归一化操作，Tensor Core可将这些操作加速数十倍；推理阶段，GPU通过批处理与低精度量化实现高吞吐低延迟。在HPC领域，GPU用于分子动力学、气象模拟、流体仿真、金融建模等场景，CUDA核心提供FP64双精度算力，Tensor Core则用于混合精度迭代求解。
GPU在异构互联中的定位是算力密集型任务的加速器：CPU负责控制流与串行逻辑，GPU负责数据并行与矩阵密集计算，DPU负责网络、存储与安全卸载，三者通过NVLink、PCIe等高速链路协同。理解这一分工，才能理解后续NVLink与DPU章节的设计动机。
四、NVIDIA GPU产品线
NVIDIA GPU产品线按应用场景可分为数据中心、专业可视化、消费级与嵌入式四大类。数据中心产品是AI/HPC的主力，包括Tesla/V100/A100/H100/H200/B200等；专业可视化包括Quadro/RTX A系列；消费级为GeForce RTX系列；嵌入式为Jetson系列。下表列出数据中心主力架构的关键参数对比。
| 架构 | 代表型号 | CUDA核心数 | Tensor Core | 显存类型 | 互联方式 |
|---|---|---|---|---|---|
| Volta | V100 | 5120 | 第1代 | HBM2 32GB | NVLink 2.0 |
| Ampere | A100 | 6912 | 第3代 | HBM2e 80GB | NVLink 3.0 |
| Hopper | H100 | 16896 | 第4代 | HBM3 80GB | NVLink 4.0 |
| Blackwell | B200 | — | 第5代 | HBM3e 192GB | NVLink 5.0 |
五、常见误区与复盘
误区一：CUDA核心越多性能越强。实际性能还取决于显存带宽、Tensor Core数量、SM调度效率与软件优化。A100的CUDA核心少于某些消费卡，但AI性能远超后者。
误区二：Tensor Core可替代CUDA核心。Tensor Core仅加速矩阵运算，非矩阵逻辑、数据搬运、控制流仍依赖CUDA核心，两者互补而非替代。
误区三：GPU可独立完成所有计算。GPU需要CPU进行任务调度与I/O管理，在异构系统中通过PCIe/NVLink与CPU、DPU协同，单卡无法独立构成完整计算系统。
复盘要点：架构演进的主线是“通用并行+专用加速”；CUDA核心管通用，Tensor Core管矩阵；GPU在AI/HPC中承担算力加速角色；产品线按场景分层，数据中心系列是互联课程的重点对象。掌握这些，才能理解后续NVLink为何成为GPU间互联的关键。
# 查看GPU型号与CUDA核心数（Linux）
nvidia-smi --query-gpu=name,compute_cap,memory.total --format=csv
# 典型输出
# name, compute_cap, memory.total [MiB]
# NVIDIA H100 PCIe, 9.0, 81559 MiB
# NVIDIA A100-SXM4-80GB, 8.0, 81920 MiB
综上，GPU已从图形专用处理器演变为AI/HPC的通用算力引擎。CUDA核心与Tensor核心的分工、产品线的场景分层，以及GPU在异构系统中的加速器定位，共同构成了理解DPU/GPU/NVLink互联体系的起点。