VIP20
本课程属于:025-AI芯片架构 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

内存带宽瓶颈突破方案

📚 共计 30 章节
01
内存带宽基础
什么是内存带宽、带宽计算公式、延迟与带宽的区别、典型带宽指标
概念公式
02
内存层次结构
寄存器、L1/L2/L3缓存、主存、NUMA架构、存储层级访问时间对比
缓存NUMA
03
CPU缓存原理
缓存行、缓存命中与缺失、缓存一致性协议(MESI)、伪共享问题
MESI伪共享
04
内存访问模式
顺序访问、随机访问、步长访问、空间局部性与时间局部性
局部性模式
05
预取机制
硬件预取、软件预取、预取距离调优、预取指令使用
预取调优
06
内存带宽瓶颈识别
性能计数器、perf工具使用、带宽利用率计算、瓶颈定位方法
perf瓶颈
07
内存带宽测试工具
STREAM基准测试、lmbench、mbw、自定义带宽测试程序
STREAMbenchmark
08
编译器优化
自动向量化、循环展开、数据对齐、内存别名消除、-O3优化级别
编译器-O3
09
数据布局优化
结构体数组(SoA) vs 数组结构体(AoS)、缓存行对齐、数据填充
SoAAoS
10
循环优化技术
循环分块(tiling)、循环交换、循环融合、循环剥离
tiling循环
11
多线程内存访问
线程亲和性、内存池分配、false sharing避免、NUMA感知编程
多线程NUMA
12
SIMD向量化
SSE/AVX指令集、向量化编程、自动向量化辅助、intrinsics使用
SIMDAVX
13
非时间访存指令
NT stores、NT loads、流式存储、写合并优化
NT写合并
14
大页内存
标准页 vs 大页、透明大页(THP)、显式大页配置、大页性能影响
大页THP
15
内存分配器优化
malloc vs 定制分配器、tcmalloc/jemalloc、内存池、伙伴系统
tcmallocjemalloc
16
NUMA优化
NUMA节点绑定、内存交错策略、numactl工具、本地内存访问优先
numactl绑定
17
DDR内存技术
DDR4/DDR5特性、内存频率与时序、双通道/多通道、内存带宽计算
DDR5双通道
18
HBM高带宽内存
HBM架构、HBM2e/HBM3规格、与DDR对比、应用场景
HBM高带宽
19
GPU内存带宽
显存带宽、统一内存、PCIe带宽限制、GPU Direct技术
GPU显存
20
CXL互连技术
CXL协议、内存池化、CXL带宽特性、异构内存管理
CXL池化
21
内存带宽与功耗
动态功耗、静态功耗、DVFS、内存频率调节、能效比优化
功耗DVFS
22
实时系统内存带宽
确定性延迟、带宽预留、内存带宽隔离、RTOS优化
实时隔离
23
数据库内存优化
缓冲池设计、索引内存布局、查询内存带宽、列式存储
数据库缓冲池
24
AI/ML内存带宽
模型内存占用、算子带宽需求、梯度累积、混合精度训练
AI混合精度
25
视频处理内存带宽
帧缓冲管理、YUV格式优化、DMA传输、显示刷新率
视频DMA
26
网络数据平面内存
DPDK内存管理、零拷贝、大页配置、mbuf池优化
DPDK零拷贝
27
存储系统内存带宽
NVMe驱动、IO栈优化、页缓存、直接IO vs 缓冲IO
NVMeIO栈
28
虚拟化内存带宽
虚拟机内存开销、vCPU调度、内存气球、PCIe直通
虚拟化气球
29
云原生内存优化
容器内存限制、cgroup带宽控制、Kubernetes内存管理、Serverless冷启动
K8scgroup
30
未来内存技术
CXL内存扩展、计算存储、近内存计算、光互连内存、量子内存展望
未来量子