VIP20

本课程属于：014-GPU集群 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA编程与核函数优化实战

📚 共计 30 章节

CUDA开发环境搭建

GPU架构简介 · CUDA Toolkit安装 · nvcc编译器与驱动版本匹配 · 第一个CUDA程序

CUDA编程模型

主机与设备 · 核函数定义与调用 · <<<>>>语法详解 · 线程层次结构

CUDA内存模型

全局内存 · 共享内存 · 寄存器 · 本地内存 · 常量内存 · 纹理内存

线程束与执行模型

Warp概念 · Warp调度 · 分支发散 · Warp Shuffle指令

核函数优化基础

内存合并访问 · Bank Conflict避免 · 循环展开 · Occupancy计算

优化Occupancy

共享内存优化

共享内存声明 · 动态共享内存 · Bank Conflict详解 · Padding技术

共享内存Bank

全局内存访问优化

合并访问模式 · 对齐要求 · 向量化加载 (int4/float4) · 缓存行为

全局内存合并

核函数启动配置优化

Grid/Block大小选择 · Occupancy与性能关系 · Launch Bounds

启动配置调优

流与并发执行

CUDA Stream概念 · 异步操作 · Host-Device并发 · 多流调度

事件与同步

CUDA Event · 时间测量 · 同步机制 · cudaDeviceSynchronize

常量内存与纹理内存

__constant__使用 · 纹理内存绑定 · 图像处理应用

原子操作与互斥

AtomicAdd/Sub/Exch · 原子操作性能 · 自定义锁 · Warp级原子操作

树形归约 · Warp Shuffle归约 · 共享内存归约 · 多Block归约

扫描算法优化

Hillis-Steele扫描 · Blelloch扫描 · Bank Conflict优化 · Work-Efficient实现

矩阵乘法优化

Naive实现 · 共享内存分块 · Tiling技术 · Register Tiling · CUTLASS简介

Im2Col方法 · 共享内存卷积 · Winograd算法 · cuDNN对比

Bitonic Sort · Radix Sort · Merge Sort · CUB库使用

稀疏矩阵计算

CSR格式 · SpMV优化 · Jagged Diagonal格式 · cuSPARSE

Dynamic Parallelism概念 · 子核函数调用 · 递归实现 · 使用场景

动态并行递归

Graph定义与捕获 · Graph执行 · Graph更新 · 性能优势

Unified Memory概念 · Page Fault机制 · Prefetching · Memory Advice

统一内存Prefetch

cuBLAS · cuFFT · cuRAND · Thrust · CUB

多设备管理 · Peer-to-Peer访问 · NVLink · 多GPU归约

性能分析工具

NVIDIA Nsight Systems · Nsight Compute · Profiling指标 · 瓶颈定位

PTX指令集 · 内联PTX · SASS反汇编 · 指令级优化

Tensor Core编程

Tensor Core架构 · WMMA API · 混合精度训练 · cuBLAS使用

Tensor Core混合精度

CUDA与Python集成

PyCUDA · Numba CUDA · CuPy · JAX

深度学习框架中的CUDA

PyTorch自定义算子 · TensorFlow自定义Op · 算子融合

CUDA调试技巧

cuda-gdb · cuda-memcheck · Compute Sanitizer · 错误检查宏

调试Sanitizer

高性能矩阵乘法库 · 图像处理流水线 · N体模拟 · 金融蒙特卡洛模拟