课程导入：学习目标、目标学员、课程结构与环境准备

欢迎进入《NVIDIA Nsight Compute 内核级性能分析与优化实战》的第一章。在开始深入 GPU 内核（Kernel）的微观性能剖析之前，我们必须先建立清晰的课程框架与实验环境。本章作为整个课程的基石，将帮助你明确“为何学”、“谁来学”、“学什么”以及“用什么工具学”四个核心问题。我们将系统梳理 Nsight Compute（以下简称 Nsight Compute 或 Ncu）在 GPU 性能分析工具链中的定位，并手把手完成从驱动、CUDA 工具包到 Nsight Compute 独立版的完整安装与验证。请务必跟随本章操作，因为后续所有章节的案例拆解与实验都将依赖于一个正确配置的本地环境。

上图清晰地展示了本章的核心内容框架：课程目标决定了内容深度与方向，目标学员界定了讲解的起点与术语使用习惯，课程结构呈现了从基础到综合优化的递进逻辑，而环境准备则是所有后续章节实验的物理前提。下面我们将逐一展开详细说明。

1.1 学习目标：从“会跑”到“会调”

本课程的核心目标不是教你如何编写一个能正确运行的 CUDA 程序，而是帮助你掌握一套系统化的内核级性能分析与优化方法论。具体而言，完成本课程后，你将能够：

• 精准定位瓶颈：使用 Nsight Compute 的 Speed of Light（SOL）模型、Memory Workload Analysis 和 Compute Workload Analysis 页面，快速判断内核是受限于访存带宽、计算吞吐、延迟还是指令发射开销。
• 量化分析指标：理解并解读关键性能指标，如 Achieved Occupancy、Warp Stall 原因分布、L1/L2 Cache Hit Rate、DRAM Throughput、SM Busy 等，并能将这些指标与底层硬件行为关联起来。
• 实施针对性优化：根据分析结果，选择正确的优化策略，例如调整 Block Size、优化共享内存 Bank Conflict、改善全局内存合并访问、使用向量化加载（float4）、减少分支发散等。
• 验证优化效果：使用 Nsight Compute 的 Baseline 对比功能，量化每次修改带来的性能提升，并理解性能变化背后的硬件原因。

1.2 目标学员：谁应该学习这门课程？

本课程面向已经具备 CUDA 编程基础，但希望深入理解 GPU 硬件行为并系统提升程序性能的开发者。我们假设你满足以下条件：

如果你对 CUDA 编程尚不熟悉，建议先完成基础的 CUDA 编程入门课程，再回来学习本课程，否则部分硬件术语和优化技巧可能会显得抽象。

1.3 课程结构：从工具到方法论的递进

本课程共 30 章，分为五个主要阶段，每个阶段都建立在前一阶段的基础上：

1. 基础入门（第1-5章）：环境搭建、Nsight Compute 界面导航、Profile 流程、内核性能概览页面解读。目标是让你能熟练地“跑”一次分析并看懂报告。
2. 核心指标详解（第6-12章）：深入讲解 Occupancy、Warp Stall、Cache 命中率、DRAM 带宽、指令混合等核心指标。目标是让你理解每个指标背后的硬件含义。
3. 内存优化专题（第13-18章）：聚焦全局内存、共享内存、常量内存、纹理内存的优化技巧，包括合并访问、Bank Conflict 消除、数据复用等。
4. 计算优化专题（第19-24章）：涉及算术强度、指令级并行、循环展开、分支优化、Tensor Core 利用等。
5. 综合实战与总结（第25-30章）：通过多个完整案例，将前四阶段的知识综合运用，并介绍多内核协同优化、CPU-GPU 流水线等高级话题。

1.4 环境准备：搭建你的性能分析工作台

一个正确配置的环境是高效学习的前提。以下是详细的安装与验证步骤，我们将以 Linux（Ubuntu 20.04/22.04）和 Windows 10/11 两个主流平台为例进行说明。

1.4.1 NVIDIA 驱动安装

Nsight Compute 依赖于 NVIDIA 驱动与 GPU 进行交互。请确保你的驱动版本足够新（建议 ≥ 470.xx）。

• Linux：推荐使用 nvidia-driver-535 或更高版本。可通过 sudo apt install nvidia-driver-535 安装（Ubuntu），或从 NVIDIA 官网下载 .run 文件安装。安装后使用 nvidia-smi 验证驱动是否正常工作。
• Windows：从 NVIDIA 官网下载 GeForce/Quadro 驱动，安装后重启。在任务管理器的“性能”标签页中确认 GPU 被正确识别。

1.4.2 CUDA 工具包安装

Nsight Compute 需要 CUDA 工具包中的 cupti 库来收集硬件计数器数据。我们建议安装 CUDA 11.0 或更高版本。

# Linux (Ubuntu) 示例
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update
sudo apt install cuda-toolkit-12-3   # 以 CUDA 12.3 为例

# 验证安装
nvcc --version

安装完成后，请将 CUDA 的 bin 和 lib64 目录添加到 PATH 和 LD_LIBRARY_PATH 环境变量中。

1.4.3 Nsight Compute 安装

Nsight Compute 有两种安装方式：作为 CUDA 工具包的一部分，或作为独立版本。独立版本更新更频繁，包含最新功能，推荐使用。

• 独立版下载：访问 NVIDIA 官网 Nsight Compute 下载页面，选择对应操作系统和架构的安装包。
• Linux 安装：sudo apt install ./nsight-compute_2024.1.1_amd64.deb 或运行 .run 文件。
• Windows 安装：直接运行 .exe 安装程序，按提示完成即可。

1.4.4 验证安装

安装完成后，打开终端（或命令提示符），运行以下命令验证 Nsight Compute 是否可用：

ncu --version

如果输出类似 NVIDIA (R) Nsight Compute Command Line Profiler 的版本信息，则说明安装成功。接下来，我们用一个简单的 CUDA 程序进行冒烟测试：

# 编写一个简单的 vector add 程序
cat <<EOF > vector_add.cu
#include <cstdio>
__global__ void vec_add(float *a, float *b, float *c, int n) {
    int i = blockIdx.x * blockDim.x + threadIdx.x;
    if (i < n) c[i] = a[i] + b[i];
}
int main() {
    int n = 1 << 20;
    float *a, *b, *c;
    cudaMalloc(&a, n*sizeof(float));
    cudaMalloc(&b, n*sizeof(float));
    cudaMalloc(&c, n*sizeof(float));
    vec_add<<<(n+255)/256, 256>>>(a, b, c, n);
    cudaDeviceSynchronize();
    cudaFree(a); cudaFree(b); cudaFree(c);
    return 0;
}
EOF
# 编译
nvcc -o vector_add vector_add.cu
# 使用 ncu 分析
ncu --set basic ./vector_add

如果 ncu 成功输出内核分析报告（包括 Duration、Compute Throughput、Memory Throughput 等），则说明你的环境已经完全就绪。

1.4.5 环境配置检查清单

1.5 常见误区与总结

在环境准备阶段，初学者常会遇到以下问题，我们在此提前说明：

• 误区一：使用旧版驱动。Nsight Compute 的某些新特性（如新的 SOL 模型）需要较新的驱动支持。如果遇到计数器读取失败，请先升级驱动。
• 误区二：忽略权限问题。在 Linux 上，普通用户可能无法访问 GPU 性能计数器。解决方案是使用 sudo ncu，或者将用户加入 video 组并设置 udev 规则。
• 误区三：在图形界面下分析。如果 GPU 同时用于显示输出，Nsight Compute 可能无法获取准确的硬件计数器。建议使用多 GPU 机器，或关闭图形界面。
• 误区四：混淆 Nsight Systems 与 Nsight Compute。前者是系统级时序分析工具，后者是内核级微观分析工具。本课程只关注后者。