VIP20

本课程属于：011-CUDA AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA高性能AI训练从零开始

📚 共计 30 章节

GPU架构概览 · CUDA编程模型 · 环境搭建 (驱动/Toolkit/cuDNN)

CUDA编程基础

主机与设备 · 核函数Kernel · 线程层次结构 (Grid/Block/Thread)

cudaMalloc · cudaMemcpy · cudaFree · 统一内存入门

并行计算模式

向量加法 · 矩阵乘法 · nvprof/Nsight Systems初探

线程同步与协作

__syncthreads() · 共享内存 · Bank Conflict

同步共享内存

共享内存优化

矩阵转置优化 · 归约算法 · Warp Shuffle

常量内存与纹理内存

__constant__ · 纹理内存应用 · 只读缓存

流与并发执行

CUDA Stream · 异步操作 · 多流并发 · Event同步

cuBLAS · cuFFT · Thrust模板库

深度学习框架中的CUDA

PyTorch CUDA后端 · TensorFlow GPU · 自定义CUDA扩展

AI训练核心概念

前向/反向传播 · 损失函数 · 优化器 (SGD/Adam)

数据并行训练

数据并行原理 · All-Reduce · NCCL库入门

模型并行训练

模型并行 · 流水线并行 · 张量并行

模型并行流水线

混合精度训练

FP16/FP32混合 · Tensor Cores · 自动混合精度(AMP)

混合精度Tensor Cores

梯度累积与梯度压缩

梯度累积策略 · 梯度压缩 · 通信优化

分布式训练框架

Horovod入门 · PyTorch DDP

CUDA Graph优化

CUDA Graph概念 · 图捕获与重放 · 训练加速

算子融合(Fusion)

融合原理 · 手动融合 · nvFuser/TorchScript

内存优化技术

梯度检查点 · 内存碎片管理 · 显存复用

内存检查点

数据加载优化

GPU Direct Storage · DataLoader多进程 · 预取缓存

数据加载GDS

性能分析与调优

Nsight Systems深度 · Nsight Compute · Roofline模型

自定义Kernel开发

CUDA C++高级特性 · 模板元编程 · JIT编译

Warp级别编程

Warp Shuffle详解 · WMMA · 协作组(Cooperative Groups)

多GPU通信优化

NVLink/NVSwitch · P2P通信 · 通信计算重叠

大规模训练策略

ZeRO优化器 · DeepSpeed · Megatron-LM

训练稳定性

梯度裁剪 · 学习率调度 · 权重初始化 · BN调优

模型部署与推理优化

TensorRT入门 · INT8量化 · Kernel自动调优

CUDA调试与错误处理

cudaError_t · cuda-gdb · Compute Sanitizer

调试Sanitizer

稀疏计算 · 动态形状网络 · CUDA 12新特性

综合实战：Transformer

从零训练Transformer · 完整优化流程 (数据加载/混合精度/分布式/调优)

实战Transformer