VIP20

本课程属于：011-CUDA AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA原理解析与驱动高效编程

📚 共计 30 章节

GPU计算历史 · CUDA诞生 · 异构计算 · CPU+GPU协同 · 生态全景

GPU硬件架构

SM · CUDA核心 · Warp调度 · 内存层级 · PCIe/NVLink

CUDA开发环境搭建

驱动 · Toolkit · cuDNN · Nsight · VS/CMake配置

环境工具链

第一个CUDA程序

Hello GPU · 核函数 · <<<grid,block>>> · 主机设备交互

线程层次结构

Grid/Block/Thread · threadIdx/blockIdx · 一/二/三维索引

内存模型详解

全局/共享/寄存器/本地/常量/纹理内存

全局内存访问优化

合并访问 · 对齐 · 内存事务 · Bank Conflict · Padding

共享内存与同步

__syncthreads · 动态共享内存 · Tile算法 · 矩阵乘法

同步共享内存

Warp与线程束

Warp大小 · 发散 · Shuffle · __ballot/__shfl_xor

CUDA Stream · 默认/非默认流 · cudaMemcpyAsync · 重叠计算

事件与计时

cudaEvent_t · 创建/记录/同步 · 精确测量 · 流水线计时

CUDA错误处理

cudaError_t · cudaGetLastError · 检查宏 · 调试技巧

cuBLAS · cuFFT · cuRAND · cuSPARSE

AtomicAdd/Sub/Exch/Min/Max/CAS · 锁与互斥

归约（Reduction）优化

树形归约 · Warp级 · 共享内存 · 循环展开 · 模板元

扫描（Scan/Prefix Sum）

Hillis-Steele · Blelloch · 高效并行扫描 · 应用

扫描Prefix Sum

奇偶排序 · 双调排序 · Radix Sort · Merge Sort

直方图计算

全局/共享内存直方图 · 私有化 · 多通道

直方图统计

稀疏矩阵计算

CSR/COO · SpMV · SpMM · 图计算基础

im2col · 共享内存卷积 · Winograd · cuDNN原理

卷积深度学习

深度学习中的CUDA

前向/反向传播 · 激活函数 · BN · Dropout

深度学习训练

CUDA图（Graph）

CUDA Graph · 捕获回放 · 动态图 · 减少CPU开销

cudaSetDevice · P2P · 多流多GPU · NCCL

统一内存（Unified Memory）

cudaMallocManaged · 页面错误 · 预取 · 性能调优

CUDA与C++模板

模板元编程 · 类型安全 · 编译时优化 · Policy-Based

PyCUDA · Numba · CuPy · JIT · 混合编程

性能分析工具

Nsight Systems · Nsight Compute · Occupancy · Roofline

CUDA最佳实践

带宽利用率 · 算术强度 · Occupancy · 指令级并行

CUDA调试与验证

cuda-gdb · cuda-memcheck · compute-sanitizer · 浮点精度

CUDA前沿与展望

Hopper/Blackwell · DPX指令集 · 量子计算 · AI Agent