VIP20

本课程属于：003-Nsight性能剖析 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子优化：减少显存访问

📚 共计 30 章节

显存访问的瓶颈

为什么显存访问是主要瓶颈，带宽与延迟的区别

内存层次结构

GPU全局内存、共享内存、寄存器、L1/L2缓存

合并访问原则

全局内存合并访问的条件与实现方法

合并全局内存

共享内存的Bank冲突原理与避免策略

Bank共享内存

数据复用策略

利用共享内存减少全局内存访问次数

复用共享内存

分块处理数据，提高缓存命中率

向量化加载与存储

使用float4/int4等向量类型减少指令数

向量化指令

循环展开与软件流水

减少循环开销，隐藏内存延迟

展开流水线

使用CUDA异步内存拷贝与流水线技术

异步流水线

常量内存与纹理内存

只读数据的优化存储与访问

寄存器压力管理

避免寄存器溢出导致的显存访问

寄存器溢出

Occupancy与显存访问

线程块大小与SM资源分配

Warp调度与内存延迟隐藏

如何利用大量线程隐藏延迟

Warp延迟隐藏

数据局部性与缓存行利用

内存池与预分配

减少动态内存分配的开销

内存池预分配

Zero-Copy与统一内存

CPU与GPU共享数据的场景

Zero-Copy统一内存

合并多个算子减少中间结果的显存读写

融合中间结果

Kernel Launch Overhead

减少内核启动次数与数据传输

启动开销传输

NCCL与多GPU通信

跨GPU显存访问的优化

Profiling工具

使用Nsight Compute分析显存访问模式

矩阵乘法的显存优化

从Naive到Tiled的实现演进

卷积算子 im2col 与 Winograd

显存访问模式对比

Attention算子的显存优化

FlashAttention的核心思想

Reduce算子的优化

树形归约与Warp Shuffle

Gather与Scatter操作

非连续访问的优化技巧

稀疏算子的显存访问

处理稀疏矩阵的存储格式

稀疏存储格式

混合精度训练中的显存优化

FP16/BF16的存储与计算

混合精度FP16

Gradient Accumulation与Checkpointing

减少显存占用的策略

梯度累积检查点

实际案例分析

优化一个LayerNorm算子的显存访问

LayerNorm案例

总结与最佳实践

显存优化的通用方法论与工具链

方法论工具链