1. 课程导入：学习目标、课程结构、数据中心加速计算概览
1.1 学习目标与课程定位
欢迎来到《数据中心英伟达加速计算体系入门》。本课程面向数据中心基础设施工程师、平台运维人员以及即将进入AI基础设施领域的开发者，旨在帮助你建立从GPU硬件到集群调度、再到上层AI工作负载的完整认知框架。完成本章学习后，你将能够：
- 准确描述英伟达加速计算在数据中心内的核心组件及其职责边界。
- 区分计算型GPU、网络加速卡与数据处理加速卡的适用场景。
- 理解GPU直通、虚拟化、MIG（多实例GPU）三种主流切分模式的差异。
- 识别数据中心部署GPU时的供电、散热与网络瓶颈。
1.2 数据中心加速计算概览：从通用计算到异构计算
传统数据中心以CPU为核心，擅长处理逻辑分支密集、串行依赖强的任务。然而，AI训练、深度学习推理、科学仿真等负载包含海量的并行矩阵运算，CPU的算术逻辑单元（ALU）占比低，执行此类任务时功耗高且吞吐受限。英伟达加速计算的核心思路是构建CPU+GPU异构计算池：CPU负责指令调度与复杂逻辑，GPU则凭借数千个CUDA核心专攻高吞吐并行计算。
下图展示了现代数据中心内英伟达加速计算的基础架构与数据流路径，这是后续所有章节讨论的物理与逻辑基础：
上图揭示了加速计算数据中心与传统x86机房的三个关键差异：
- 数据路径多元化：GPU不仅通过PCIe与CPU通信，还能通过RDMA绕过CPU直接访问网络和存储，减少数据拷贝延迟。
- 管理复杂度上移：DCGM（数据中心GPU管理器）成为必备组件，负责监控GPU温度、显存ECC错误、功耗墙等指标。
- 资源切分粒度细化：一块物理GPU可通过MIG切分为最多7个独立实例，满足多租户隔离需求。
1.3 课程结构地图
本课程共30章，按认知逻辑分为五个阶段。下表展示了各阶段的核心主题与关键交付物，建议你保存此表作为学习路线图：
| 阶段 | 章节范围 | 核心主题 | 关键交付能力 |
|---|---|---|---|
| 基础认知 | 第1-5章 | GPU架构、CUDA编程模型、显存体系 | 读懂nvidia-smi输出，理解SM与Warp调度 |
| 虚拟化与切分 | 第6-10章 | vGPU、MIG、GPU直通、容器化 | 为不同租户选择正确的GPU切分策略 |
| 集群网络 | 第11-16章 | RDMA、InfiniBand、GPUDirect、拥塞控制 | 排查跨节点训练时的网络瓶颈 |
| 可观测性 | 第17-22章 | DCGM、Prometheus监控、XID错误 | 建立GPU健康度看板与告警规则 |
| 调度与最佳实践 | 第23-30章 | Kubernetes调度、GPU共享、性能调优 | 设计生产级GPU集群架构 |
1.4 典型应用场景与选型逻辑
理解加速计算的价值，最好的方式是看真实场景。以下是三个典型的数据中心GPU部署案例：
场景一：大语言模型训练集群（H100/A100）
- 硬件配置：每节点8× H100 SXM + 8× 400G InfiniBand网卡。
- 关键需求：NVLink全互联保证张量并行效率；IB网络承载AllReduce通信。
- 运维要点：DCGM监控GPU温度，防止HBM过热降频。
场景二：AI推理服务（L4/L40S）
- 硬件配置：2U服务器配4× L4 GPU，PCIe Gen5直连。
- 关键需求：低延迟响应，支持MIG切分为多个小实例承载不同模型。
- 运维要点：关注GPU利用率与显存占用比例，避免资源碎片。
场景三：科学计算与CAE仿真（A40）
- 硬件配置：图形工作站形态，GPU与远程可视化工作站配合。
- 关键需求：需要NVIDIA vGPU提供远程图形加速。
- 运维要点：网络带宽需满足帧缓冲传输需求（通常≥25Gbps）。
1.5 常见误区与复盘
在课程正式开始前，先澄清几个初学者极易踩入的认知陷阱：
误区一：GPU服务器=普通服务器插上显卡
数据中心级GPU（如A100/H100）与消费级显卡有本质区别：前者支持NVLink、ECC显存、更严格的供电规范（SXM模块可达700W TDP），且需要专门的散热风道设计。直接使用普通机架式服务器插GPU，往往导致PCIe供电不足或散热失效。
误区二：显存越大，训练越快
显存容量决定能否运行模型，而计算吞吐（TFLOPS）与互联带宽决定训练速度。例如，A100 80GB与H100 80GB显存相同，但H100的Transformer Engine使训练速度提升约3倍。
误区三：MIG等同于vGPU
MIG是硬件级隔离（显存与计算单元物理隔离），而vGPU是时间片切分+显存逻辑隔离。MIG更适合对隔离性要求高的多租户场景，但MIG实例无法运行CUDA的某些点对点通信特性。
复盘清单：学完本章，请自测以下问题——
- 能否画出CPU、GPU、网络卡、存储卡之间的数据流路径？
- DCGM在加速计算数据中心扮演什么角色？
- 为什么说“GPU利用率100%”不一定代表健康？