VIP20

本课程属于：017-Nsight AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA算子优化与显存管理实战

📚 共计 30 章节

CUDA编程模型回顾

Grid-Block-Thread层级结构 · Kernel Launch语法 · 主机与设备内存交互

基础线程模型

内存层次结构全景

全局/共享/寄存器/本地/常量/纹理内存特性与带宽对比

内存体系带宽

全局内存合并访问

对齐与合并条件 · Stride/Gap访问 · Padding技术

合并访问性能

共享内存与Bank Conflict

Bank映射 · Conflict原因 · Padding与Swizzle策略

共享内存Bank

寄存器压力与Spill

寄存器分配 · Occupancy权衡 · __launch_bounds__控制

寄存器Occupancy

常量内存与纹理内存

广播机制 · 纹理缓存优化 · 适合场景分析

常量内存纹理

原子操作与锁

Global vs Shared Atomic · 性能开销 · 自定义锁与Futex

原子操作同步

Warp级别优化

Warp Divergence · Shuffle指令 · 归约与Scan

流与并发执行

CUDA Stream · Host-Device异步 · 多Stream并发

事件与同步

CUDA Event测量 · Stream/Event同步 · 依赖图构建

Device端Kernel Launch · 递归与动态并行 · 限制

动态并行递归

Graph构建与Instantiation · Capturing模式 · 重放与更新

统一内存与页错误

Unified Memory原理 · Page Fault与Migration · Prefetch/Advise

统一内存页错误

显存分配策略

cudaMalloc vs Managed · 池化分配器 · 自定义分配器

分配策略池化

显存复用与池化

显存碎片 · Buddy System与Slab · 显存池实现

显存带宽优化

带宽利用率 · Roofline模型 · 带宽受限优化

计算与访存重叠

Double Buffering · Pipeline设计 · 异步拷贝重叠

重叠流水线

算子融合策略

Element-wise融合 · Reduce融合 · 显存访问优化

稀疏计算优化

CSR/COO格式 · 稀疏Kernel · Sparse Tensor Core

稀疏Tensor Core

Tensor Core与WMMA

硬件原理 · WMMA API · 混合精度训练优化

Tensor CoreWMMA

CUDA Toolkit工具链

nvcc编译 · cuobjdump反汇编 · nvdisasm分析

工具链反汇编

Nsight Compute性能分析

Kernel Profiling · Metrics分析 · Source-Level Correlate

NsightProfiling

Nsight Systems系统分析

Trace Timeline · API Trace · GPU Utilization

系统分析Trace

算子的自动调优

Tiling参数搜索 · Block Size调优 · Launch Configuration

自动调优搜索

持久化线程与工作池

Persistent Threads · Dynamic Work Distribution · Work Stealing

持久线程工作池

Peer-to-Peer · NVLink与NVSwitch · 多GPU通信

CUDA与分布式结合

NCCL基础 · AllReduce优化 · Ring与Tree算法

显存泄漏检测

cuda-memcheck · compute-sanitizer · Valgrind for CUDA

泄漏检测Sanitizer

错误处理与调试

Error Handling最佳实践 · 断点调试 · Core Dump分析

调试错误处理

综合案例：LayerNorm优化

从PyTorch Operator到CUDA Kernel · 完整优化历程

实战LayerNorm