VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA显存管理与带宽性能优化工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
CUDA显存体系全景
目标=从全局内存 · 共享内存 · 常量内存
CUDA显存体系全景
02
显存分配与释放工程实践
目标=cudaMalloc · cudaFree · cudaMallocManaged
显存分配释放工程实践
03
设备内存与主机内存的数据搬运
目标=cudaMemcpy · cudaMemcpyAsync · cudaMemcpy2D/3D 的用…
设备内存主机内存的数据搬…
04
统一内存与零拷贝工程权衡
目标=cudaMallocManag… · cudaMemAdvise 与 cu… · 零拷贝映射内存的适用边界
统一内存零拷贝工程权衡
05
合并访问与全局内存事务
目标=以 warp 为单位的 32… · 对齐与步长对有效带宽的影响 · AoS 与 SoA 布局的实测对比
合并访问全局内存事务
06
共享内存与 Bank 冲突消除
目标=共享内存的声明 · 动态分配 · bank 映射规则
Bank共享内存
07
常量内存与只读缓存
目标=__constant__ 的广… · cudaMemcpyToSymbol… · 常量内存与 __ldg 只读缓存的适…
常量内存只读缓存
08
纹理内存与表面内存工程应用
目标=纹理对象的创建 · cudaTextureObject_… · 线性插值与缓存局部性优势
纹理内存表面内存工程应用
09
寄存器压力与本地内存溢出
目标=寄存器分配机制 · occupancy 与寄存器用量的权… · __launch_bounds__…
寄存器压力本地内存溢出
10
Occupancy 与显存带宽的关系
目标=占用率计算模型 · 寄存器/共享内存/线程块大小对并发访… · 带宽饱和点测量
Occupancy显存带宽的关系
11
CUDA 流与异步传输流水线
目标=stream 的创建与销毁 · cudaMemcpyAsync 与… · 多流并发传输的带宽竞争
CUDA异步传输流水线
12
事件与显存操作同步
目标=cudaEvent 记录与等待 · 流内与跨流同步 · 避免全局同步导致的流水线停顿
事件显存操作同步
13
显存带宽基准测试方法
目标=设计 STREAM 风格 be… · 区分理论带宽与有效带宽 · 使用 nvprof/Nsight C…
显存带宽基准测试…STREAM
14
Nsight Compute 显存指标解读
目标=memory workload… · L1/L2 命中率 · sectors per reques…
NsightCompute
15
L2 缓存驻留与访问策略
目标=cudaAccessPolic… · L2 persistence 设置 · 缓存命中率对有效带宽的影响
L2缓存驻留
16
内存访问模式重构实战
目标=将随机访问改造为分块访问 · 预取与重排索引 · 利用共享内存做数据暂存
内存访问模式重构…目标=将随机访问…
17
分块与 tiling 技术
目标=矩阵乘法中的 shared m… · 寄存器 tiling · 双缓冲 tiling
tiling分块
18
向量化访存与宽加载
目标=float4 · int4 等向量类型的使用 · 对齐要求
向量化访存宽加载
19
只读数据与 __ldg 优化
目标=__ldg 的只读缓存路径 · const __restrict__… · 与纹理路径的对比
ldg只读数据
20
原子操作与显存带宽
目标=原子操作的实现路径 · 全局原子与共享内存原子的带宽代价 · 原子冲突消除策略
原子操作显存带宽
21
多 GPU 显存管理与 P2P 传输
目标=cudaSetDevice · peer access 启用 · cudaMemcpyPeer 与 P…
GPUP2P
22
显存池与内存复用
目标=cudaMemPool 的创建… · 流有序内存池 · 减少 cudaMalloc 同步开销
显存池内存复用
23
动态并行与显存访问
目标=父 kernel 与子 ker… · 设备端内存分配 · 动态并行下的带宽竞争
动态并行显存访问
24
图执行与显存操作编排
目标=CUDA Graph 捕获显存… · 图更新与重放 · 减少启动开销对带宽利用率的影响
图执行显存操作编排
25
带宽受限 kernel 的调优清单
目标=从访问模式 · 缓存策略 · 占用率
kernel带宽受限
26
计算访存比与 roofline 分析
目标=算术强度计算 · roofline 模型绘制 · 判断 kernel 处于带宽瓶颈还是…
roofline计算访存比
27
显存错误与容错工程
目标=ECC 对带宽的影响 · 非法访存检测 · cuda-memcheck 与 co…
显存错误容错工程
28
真实项目案例一
目标=图像卷积带宽优化 · 依次应用合并访问 · 共享内存 tiling
真实项目案例一目标=图像卷积带…
29
真实项目案例二
目标=大规模归约与扫描 · 使用共享内存 · warp shuffle
真实项目案例二目标=大规模归约
30
综合工程实战与性能报告
目标=给定一个带宽受限的完整应用 · 完成显存管理设计 · 访问模式优化
综合工程实战性能报告