VIP20

本课程属于：012-CUDA核函数 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA核函数显存优化实战技巧集

📚 共计 30 章节

显存基础与瓶颈分析

GPU显存层次结构（Global/Shared/Register/Local）· 显存带宽与延迟的量化分析 · 典型显存瓶颈的Profiling方法

层次结构带宽Profiling

全局内存合并访问

Global Memory Coalescing原理 · 对齐与步长对带宽的影响 · 实战：矩阵转置的合并访问优化

Coalescing对齐矩阵转置

共享内存Bank Conflict

Shared Memory架构与Bank映射 · Bank Conflict的检测与消除 · 实战：归约操作的Bank Conflict优化

BankConflict归约

寄存器压力与Spilling

寄存器分配机制 · 寄存器溢出（Register Spilling）的代价 · 实战：通过调整Block大小控制寄存器压力

寄存器SpillingBlock

常量内存与纹理内存

__constant__的使用场景与限制 · 纹理内存的缓存特性与插值功能 · 实战：查找表（LUT）的常量内存优化

常量内存纹理LUT

流水线与异步传输

CUDA Stream与并发执行 · cudaMemcpyAsync与计算重叠 · 实战：双缓冲（Double Buffering）实现计算与传输重叠

Stream异步双缓冲

统一内存与页面迁移

Unified Memory原理 · 页面错误（Page Fault）与迁移策略 · 实战：使用cudaMemAdvise优化数据局部性

Unified MemoryPage FaultcudaMemAdvise

内存池与预分配

cudaMalloc/cudaFree的开销分析 · CUDA Memory Pool (cudaMemPool) 的使用 · 实战：自定义内存分配器减少分配次数

内存池cudaMemPool预分配

内核启动开销与Occupancy

Kernel Launch Latency · Occupancy计算与优化 · 实战：通过Occupancy API调整Block/Grid配置

OccupancyLaunchBlock/Grid

Warp级别原语

Warp Shuffle指令（__shfl_sync）· Warp级归约与扫描 · 实战：使用Warp Shuffle替代Shared Memory归约

ShuffleWarp归约

向量化内存访问

int4/float4等向量类型的加载与存储 · 向量化对带宽利用率的影响 · 实战：元素级运算的向量化改造

向量化int4带宽

持久化线程（Persistent Threads）

持久化线程模式原理 · 动态工作分配 · 实战：动态并行中的持久化线程应用

Persistent动态并行工作分配

CUDA Graphs的构建与重放 · Graph的捕获模式（Stream Capture）· 实战：将固定计算模式转化为Graph

GraphStream Capture重放

NCCL与多GPU通信

NCCL集合通信原语（AllReduce/AllGather）· Ring算法与带宽优化 · 实战：多卡同步的NCCL优化

NCCLAllReduce多GPU

内存带宽的Roofline模型

Roofline模型原理 · 计算强度（Arithmetic Intensity）分析 · 实战：使用Nsight Compute生成Roofline图

Roofline计算强度Nsight

L2缓存命中率优化

L2缓存架构与分区 · 缓存行（Cache Line）与扇区（Sector）· 实战：数据重排提升L2命中率

L2缓存Cache Line数据重排

原子操作与锁

Global/Shared Memory原子操作 · 原子操作的冲突与性能 · 实战：直方图计算的原子操作优化

原子操作直方图冲突

动态并行（Dynamic Parallelism）

子内核启动机制 · 递归与动态并行 · 实战：树形结构的动态并行实现

动态并行子内核树形

CUDA Tensor Core

Tensor Core架构与WMMA API · 混合精度计算（FP16/BF16/INT8）· 实战：矩阵乘法的Tensor Core优化

Tensor CoreWMMA混合精度

内存压缩与稀疏性

稀疏矩阵存储格式（CSR/COO）· cuSPARSE库的使用 · 实战：稀疏矩阵向量乘（SpMV）优化

稀疏CSRcuSPARSE

CUDA Unified Memory 2.0

UM的硬件加速页面迁移 · cudaMemAdvise高级策略 · 实战：多GPU场景的UM优化

UM 2.0页面迁移多GPU

内核融合（Kernel Fusion）

Fusion减少全局内存访问 · Fusion策略与约束 · 实战：逐元素运算的Fusion

Fusion逐元素内存访问

数据布局优化

AoS vs SoA · 结构体数组与数组结构体 · 实战：粒子系统的SoA改造

AoSSoA粒子系统

内存对齐与Padding

对齐要求与性能影响 · 显式Padding消除Bank Conflict · 实战：结构体对齐优化

对齐Padding结构体

CUDA IPC与跨进程通信

IPC句柄与共享显存 · 多进程GPU编程 · 实战：多进程推理服务的显存共享

IPC多进程显存共享

显存泄漏检测与调试

cuda-memcheck与compute-sanitizer · 显存泄漏的常见模式 · 实战：使用工具定位泄漏

泄漏检测compute-sanitizer调试

CUDA 12新特性

新一代内存管理 · 增强的异步操作 · 实战：CUDA 12的显存优化新功能

CUDA 12异步内存管理

混合精度训练优化

AMP（Automatic Mixed Precision）· Master Weights与Loss Scaling · 实战：BERT训练的显存优化

AMP混合精度BERT

FlashAttention与显存优化

FlashAttention原理 · Tiling与重计算 · 实战：实现简化版FlashAttention

FlashAttentionTiling重计算

端到端显存优化案例

从Profiling到优化的完整流程 · 综合运用多种优化技巧 · 实战：优化一个Transformer推理的显存占用

端到端Transformer综合优化