VIP20

本课程属于：012-CUDA核函数 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA核函数高性能AI训练全攻略

📚 共计 30 章节

GPU计算革命 · CUDA架构概览 · 编程模型 · Hello World从CPU到GPU

线程层次结构

Grid/Block/Thread · 一/二/三维索引 · 线程束Warp · Occupancy计算

内存层次结构

全局/共享/寄存器/本地/常量/纹理内存

核函数编写基础

__global__/__device__/__host__ · 参数传递 · 异步执行与同步

树形归约 · Warp Shuffle · Bank Conflict · 原子操作与锁

矩阵乘法优化

Naive实现 · Tiling · 共享内存分块 · 向量化加载 · 寄存器缓存

GEMM共享内存

im2col · Winograd · FFT卷积 · cuDNN集成

内存访问模式

合并访问 · 对齐要求 · 跨步优化 · Padding技巧

CUDA Stream · 多流并发 · 事件同步 · MPS与MIG

图捕获 · 图执行 · 图更新 · 动态图与静态图

AllReduce · AllGather · ReduceScatter · Ring/Tree算法

混合精度训练

FP16/BF16/FP8 · Loss Scaling · Tensor Core · AMP

精度Tensor Core

Kernel Fusion · Fused Attention · Fused Layernorm · JIT编译

CUDA C++新特性

CUDA 12.x · Cooperative Groups · cuda::std::par · Graphs动态性

性能分析工具

Nsight Systems · Nsight Compute · nvprof/nvvp · 自定义Profiler

内存池 · 统一内存 · 预取 · 页面迁移 · 零拷贝内存

内存统一内存

稀疏矩阵格式 · SpMV优化 · 稀疏注意力 · 结构化稀疏

Transformer优化

Self-Attention Kernel · FlashAttention · KV Cache · PagedAttention

TransformerAttention

分布式训练

数据/模型/流水线/张量/序列并行

分布式并行策略

AllReduce优化

Ring/Tree AllReduce · NCCL调优 · 网络拓扑感知

通信AllReduce

梯度累积与Checkpointing

梯度累积策略 · Activation Checkpointing · 内存与计算权衡

梯度Checkpoint

数据加载优化

GPU Direct Storage · 异步加载 · 预处理流水线 · 缓存策略

QAT · PTQ · INT8/INT4推理 · 量化核函数

cuda-gdb · cuda-memcheck · Compute Sanitizer · 错误检查模式

调试Sanitizer

自定义算子开发

PyTorch Custom Op · TensorRT Plugin · CUTLASS · Triton语言

自定义Triton

单节点多GPU · NVLink/NVSwitch · GPUDirect P2P · 多进程协同

PyCUDA · Numba CUDA · CuPy · JAX CUDA后端

性能调优方法论

Roofline模型 · 瓶颈分析 · 迭代优化 · 自动化调优工具

方法论Roofline

大规模训练实践

集群调度 · 容错机制 · 混合并行策略 · 超参数搜索

大规模集群

CUDA Next · CUTLASS 3.x · Hopper架构 · AI编译器与CUDA融合