📚 课程目录第1章课程导入

1. 课程导入：学习目标、课程结构、多内核GPU基础概念与性能调优的重要性

1.1 为什么多内核GPU调优是当前计算领域的核心技能

现代高性能计算、深度学习训练与科学仿真正在经历一场深刻的架构变革。单核CPU性能增长早已触及物理极限，而GPU凭借其数千个并行计算核心，成为突破算力瓶颈的主要载体。然而，拥有硬件不等于拥有性能。一块标称算力达到 80 TFLOPS 的 GPU，在实际工作负载中可能只发挥出 30%～50% 的利用率，这种差距的根源就在于工作负载分配策略与内核执行效率。

多内核 GPU（如 NVIDIA H100、AMD MI300X）内部包含多个流式多处理器（SM / CU）组、独立的内存控制器、L2 缓存分片以及高速互连总线。当多个内核（Kernel）并发执行或交替执行时，调度器如何分配线程块、如何管理共享内存、如何平衡显存带宽，将直接决定端到端的任务延迟与吞吐量。性能调优不再是“锦上添花”的优化技巧，而是决定项目能否在合理成本内完成训练或推理的关键工程能力。

核心认知：GPU 性能调优的本质是“资源-工作负载-硬件拓扑”三者的匹配工程。不理解硬件拓扑，就无法解释为什么某些内核组合会产生严重的资源争抢；不理解工作负载特征，就无法设计合理的并发策略。

1.2 多内核 GPU 基础概念：从硬件到执行模型

为了后续章节的深入讨论，本节先建立统一的术语体系与硬件抽象视图。多内核 GPU 的并行执行模型可以概括为以下层级结构：

流式多处理器（SM / CU）：GPU 内部的基本计算单元，每个 SM 包含若干 CUDA 核心/流处理器、共享内存、寄存器文件和调度器。
线程块（Thread Block / Workgroup）：由软件定义的一组线程，被调度到某个 SM 上执行。线程块内的线程可通过共享内存协作。
网格（Grid）：一个内核启动时创建的所有线程块的集合。网格维度决定总线程规模。
并发内核流（Stream / Queue）：多个内核可以放入不同的流中，由硬件调度器决定它们在 SM 上的时间片分配或并发执行。
内存层次：寄存器 → 共享内存（可编程）→ L1/L2 缓存 → 显存（HBM/GDDR）。不同层级带宽与延迟差异可达两个数量级。

下图展示了多内核 GPU 中两个并发内核在 SM 资源分配、L2 缓存分片以及显存带宽争用层面的核心关系，这是理解后续所有调优策略的硬件基础。

图中展示了两个典型内核（Kernel A 计算密集型、Kernel B 访存密集型）并发执行时的资源占用情况。可以看到：不同 SM 上可能同时驻留来自不同内核的线程块，它们共享 L2 缓存与显存带宽。如果调度策略不当，访存密集型的 Kernel B 可能占据大量显存带宽，导致计算密集型的 Kernel A 因数据等待而停顿，这种现象称为带宽争用（Bandwidth Contention）。

1.3 性能调优的核心原理与关键指标

性能调优不是盲目尝试，而是基于量化指标的迭代优化过程。在后续章节中，我们将反复使用以下核心指标来评估和指导优化：

指标	定义	调优目标
SM 占用率（Occupancy）	活跃线程块占 SM 最大可容纳线程块的比例	通常 50%～75% 为佳，过高可能导致寄存器溢出
内存带宽利用率	实际访存带宽 / 理论峰值带宽	尽量接近 80% 以上，避免大量非合并访问
内核启动开销	从 CPU 发起内核到 GPU 开始执行的时间	通过内核融合或持久化内核降低
流并发效率	多流执行时 SM 空闲时间占比	减少流间切换导致的流水线气泡
L2 缓存命中率	L2 缓存命中的访存请求比例	根据数据复用模式调整访问顺序或使用持久化缓存

1.4 课程结构导航与学习路径

本课程共 30 章，按照“基础 → 方法 → 工具 → 实战 → 进阶”的逻辑递进组织，每一章都配有可操作的实验或案例分析。以下是课程模块划分：

基础模块（第 1～5 章）：GPU 架构、执行模型、内存层次、流与事件机制、性能指标采集。
方法模块（第 6～12 章）：工作负载特征分析、内核并发策略、资源分配优化、访存模式重构、内核融合技术。
工具模块（第 13～18 章）：NVIDIA Nsight Compute / Systems、AMD ROCm Profiler、自定义计时与跟踪工具。
实战模块（第 19～25 章）：深度学习训练、推理引擎、科学计算、图神经网络、推荐系统等场景的完整调优案例。
进阶模块（第 26～30 章）：多 GPU 互连与 NVLink 调优、持久化内核设计、自动调优框架、故障排查与性能回归防护。

学习建议：建议每章学习后，在配套的实验环境中复现至少一个关键实验。性能调优是“手感”学科，只看不练很难建立直觉。第 4 章开始会提供完整的可运行代码框架。

1.5 常见误区与初始认知纠偏

在课程开始阶段，有必要澄清几个初学者常见的错误认知，这些误区会在后续章节中反复出现并深入剖析：

误区一：“GPU 核心越多，性能一定越好。” —— 实际上，如果工作负载无法有效并行化，或者存在严重的内存访问冲突，核心利用率可能极低。

误区二：“只要把内核放到不同流中就能自动并发。” —— 流的并发执行受限于 SM 资源、内存带宽和内核间的依赖关系。不合理的流分配可能反而增加调度开销。

误区三：“共享内存越大越好。” —— 共享内存是有限资源，过度分配会降低 SM 上可驻留的线程块数量，反而降低占用率。

误区四：“调优就是改改线程块大小。” —— 线程块大小只是众多参数之一，更关键的是访存模式、寄存器分配、内核融合策略等系统性因素。

1.6 本章小结与课程预期收获

完成本章学习后，你应该能够：

描述多内核 GPU 的基本硬件架构与执行模型层级；
识别工作负载分配中可能出现的资源争用类型；
理解性能调优的核心指标及其含义；
建立本课程 30 章的整体知识地图与学习路径。