01
显存基础与瓶颈识别
显存架构（HBM/GDDR）、带宽与延迟、带宽计算公式、nvidia-smi与Nsight Systems定位瓶颈
HBMNsight
02
内存访问模式分析
合并访问原理、对齐与跨步访问、Bank Conflict、Profiling工具解读
CoalescedBank Conflict
03
数据复用与局部性优化
时间/空间局部性、Tiling分块、Shared Memory缓存、Register重用
TilingShared Memory
04
算子融合与Kernel合并
Element-wise融合、Reduce/Scan融合、Fused Kernel设计、减少Launch开销
FusionKernel
05
显存峰值压缩技术
Activation Checkpointing、混合精度(FP16/BF16/FP8)、碎片整理、ZeRO与Offloading
CheckpointZeRO
06
异步与流水线技术
CUDA Stream异步拷贝、Host-Device传输优化、Pipeline并行、Overlap计算通信
StreamPipeline
07
图优化与编译器辅助
XLA/Triton显存优化、静态内存规划、算子调度与生命周期、AutoTune
XLATriton
08
实战案例与Benchmark
ResNet-50训练优化、LLM推理(VLLM)、Stable Diffusion峰值控制、自定义Profiler
VLLMResNet
09
前沿趋势与工具链
InfiniBand/NVLink、CXL与内存池化、TVM/MLIR、未来硬件趋势
CXLMLIR
10
课程总结与综合实验
端到端优化流程、Profiling到落地、常见陷阱、学习资源推荐
综合实验避坑
11
显存分配与回收机制
CUDA Runtime API、cudaMalloc/cudaFree陷阱、Memory Pool、自定义分配器
cudaMallocPool
12
显存带宽利用率分析
Roofline模型、计算强度与带宽瓶颈、Nsight Compute分析、优化方向
RooflineNsight Compute
13
数据布局优化
NHWC vs NCHW、SoA vs AoS、Padding与对齐、Transpose开销
NHWCSoA
14
稀疏化与量化技术
结构化/非结构化稀疏、INT8/INT4量化、KV Cache量化、PTQ与QAT
稀疏INT8
15
分布式训练显存优化
DDP/FSDP、TP与PP权衡、序列并行(SP)、3D并行策略
FSDP3D并行
16
Attention机制显存优化
FlashAttention、PagedAttention、MQA/GQA、KV Cache管理
FlashAttentionPagedAttention
17
动态形状与动态图优化
动态形状挑战、TorchScript静态化、预分配策略、CUDA Graphs
CUDA GraphsJIT
18
显存错误与调试
OOM常见原因、泄漏检测(cuda-memcheck)、memory_summary()、Snapshot分析
OOMcuda-memcheck
19
CPU-GPU协同优化
Unified Memory、Prefetching/Advise、CPU预处理流水线、Zero-Copy
Unified MemoryZero-Copy
20
多GPU显存负载均衡
显存不均原因、手动/自动均衡、Round-Robin与Greedy、动态迁移
负载均衡Greedy
21
推理场景显存优化
Continuous Batching、KV Cache共享、Speculative Decoding、剪枝蒸馏
Continuous BatchingSpeculative
22
显存带宽与功耗权衡
频率/电压影响、TDP限制、DVFS动态调整、绿色计算
DVFSTDP
23
自定义CUDA Kernel优化
手写Kernel访问模式、Shared Memory/Registers、向量化加载、Warp Level
CUDAWarp
24
框架层显存优化
PyTorch Caching Allocator、TensorFlow BFC、JAX管理、框架选择影响
Caching AllocatorBFC
25
显存压缩算法
LZ4/Zstd无损、FP8/Block-wise有损、梯度压缩、稀疏通信
LZ4梯度压缩
26
实时显存监控与告警
Prometheus+Grafana、自定义告警、趋势预测、自动扩缩容
PrometheusGrafana
27
显存安全与隔离
MIG隔离、nvidia-docker限制、多租户QoS、安全边界
MIGnvidia-docker
28
特定硬件优化
H100/H200、MI300X、Ponte Vecchio、Apple Silicon统一内存
H100MI300X
29
显存优化经济学
成本与性能权衡、云实例选择(A100/H100/L40S)、Spot实例、TCO分析
TCOSpot
30
未来展望与总结
CXL 3.0、存算一体、光子计算、知识图谱、工程师成长路径
CXL 3.0存算一体