首页
›
AI算力与GPU工程
›
004-TensorCore优化
›
《GPU内存访问与Tensor Core吞吐优化》
VIP20
本课程属于:004-TensorCore优化
AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
内存访问模式优化实战
📚 共计 30 章节
01
内存层次结构
从寄存器到硬盘的存储金字塔,为什么缓存如此重要。
金字塔
缓存
02
局部性原理
时间局部性与空间局部性,如何利用它们写出高效代码。
时间局部性
空间局部性
03
缓存行与伪共享
CPU缓存行的概念,多线程编程中的伪共享问题及解决方案。
伪共享
缓存行
04
数据对齐与填充
结构体对齐规则,内存对齐对性能的影响,显式填充技术。
对齐
填充
05
顺序访问 vs 随机访问
数组遍历与链表遍历的性能差异,预取机制。
预取
遍历
06
循环优化
循环展开、循环交换、循环分块,减少缓存缺失。
循环分块
展开
07
矩阵乘法优化
经典的三层循环优化,利用分块和缓存感知算法。
分块
缓存感知
08
数据结构选择
数组 vs 链表 vs 树,不同场景下的内存访问模式。
数组
链表
树
09
池化技术
对象池、内存池、线程池,减少内存分配与释放的开销。
对象池
内存池
10
预取指令
软件预取与硬件预取,__builtin_prefetch 的使用。
预取
builtin
11
写合并与写缓冲
CPU写缓冲机制,如何避免写停顿。
写缓冲
写合并
12
TLB优化
页表与TLB,大页技术,减少TLB缺失。
TLB
大页
13
NUMA架构
非统一内存访问,绑定线程与内存节点。
NUMA
绑定
14
SIMD与向量化
利用SSE/AVX指令集,数据并行访问。
SIMD
AVX
15
内存屏障与顺序一致性
编译器重排与CPU重排,volatile与屏障指令。
屏障
重排
16
RCU机制
读-拷贝-更新,无锁读的高效内存访问。
RCU
无锁
17
内存分配器
malloc/free 的陷阱,tcmalloc/jemalloc 的优势。
tcmalloc
jemalloc
18
垃圾回收与内存访问
GC对内存布局的影响,如何配合GC优化。
GC
布局
19
持久化内存
NVM/PMEM 的访问模式,与传统DRAM的差异。
NVM
PMEM
20
GPU内存访问
全局内存、共享内存、寄存器,访存合并。
GPU
访存合并
21
内存带宽测量
使用性能计数器,perf工具分析内存瓶颈。
perf
带宽
22
缓存命中率分析
valgrind/cachegrind 的使用,优化前后对比。
cachegrind
命中率
23
内存泄漏检测
AddressSanitizer,Valgrind memcheck。
ASan
memcheck
24
内存碎片化
内部碎片与外部碎片,如何避免。
碎片
避免
25
栈内存 vs 堆内存
栈分配的优势,避免堆分配。
栈
堆
26
内存映射文件
mmap 的高效使用,大文件处理。
mmap
大文件
27
零拷贝技术
sendfile,splice,减少数据拷贝。
零拷贝
sendfile
28
内存压缩
zram/zswap,压缩内存的访问特性。
zram
zswap
29
内存热插拔
在线添加/移除内存,系统级优化。
热插拔
在线
30
综合案例
从内存访问模式角度优化一个真实的高性能计算应用。
实战
HPC
所属VIP或分类
同VIP:AI算子融合与推理加速工程实战
同VIP:CUDA核函数与Tensor-Core性能调优
同VIP:GPU互联带宽测试与瓶颈分析实战