01
吞吐与显存优化全景
为什么需要双管齐下？吞吐瓶颈与显存瓶颈的辩证关系，优化目标与评估指标。
全景指标
02
GPU硬件架构基础
SM与CUDA Core、显存层次结构（HBM/L2/L1/Shared Memory）、带宽与延迟权衡。
硬件显存层次
03
计算效率分析
Roofline模型详解，如何定位模型是计算密集型还是访存密集型。
Roofline分析
04
显存优化基础
张量生命周期管理、显存碎片化问题、PyTorch显存分配器机制。
显存分配器
05
梯度检查点
Gradient Checkpointing原理、实现方式、吞吐与显存的trade-off分析。
检查点Trade-off
06
混合精度训练 (AMP)
FP16/BF16原理、Loss Scaling、Tensor Core利用、实际收益分析。
AMPFP16
07
ZeRO优化器系列
ZeRO-1/2/3原理对比、显存节省量化分析、通信开销与吞吐影响。
ZeRO显存节省
08
张量并行 (TP)
原理、切分策略、通信模式、适用场景。
TP并行
09
流水线并行 (Pipeline)
GPipe与1F1B策略、气泡率分析、微批次调度。
流水线1F1B
10
数据并行与分布式训练
AllReduce通信、梯度累积、吞吐优化技巧。
数据并行AllReduce
11
序列并行 (Sequence Parallel)
长序列训练挑战、Ring Attention原理、显存节省效果。
序列并行Ring Attention
12
Flash Attention原理与实现
分块计算、重计算、IO感知算法、显存与速度双赢。
FlashAttnIO感知
13
显存复用技术
内存池化、in-place操作、张量共享、显存压缩技术。
复用压缩
14
算子融合 (Kernel Fusion)
垂直融合与水平融合、Fused AdamW、LayerNorm融合实践。
融合Fused
15
计算图优化
JIT编译（TorchScript/TorchDynamo）、图捕获、算子重排。
JIT图优化
16
数据加载与预处理优化
DataLoader多进程、内存映射、预取与缓存策略。
DataLoader预取
17
通信优化
NCCL调优、通信计算重叠、梯度压缩、异步通信。
NCCL重叠
18
显存分析与Profiling工具
nvidia-smi、Nsight Systems、PyTorch Profiler、Memory Snapshot。
Profiling显存
19
吞吐分析与Profiling工具
Nsight Compute、内核分析、Occupancy分析、瓶颈定位。
吞吐Occupancy
20
模型剪枝与量化
结构化剪枝、非结构化剪枝、INT8/INT4量化、对吞吐和显存的影响。
剪枝量化
21
知识蒸馏
教师-学生框架、软标签训练、蒸馏对推理吞吐的优化。
蒸馏推理
22
推理优化基础
推理与训练的区别、动态形状处理、推理引擎（TensorRT/ONNX Runtime）。
推理TensorRT
23
TensorRT优化
图优化、层融合、精度校准、动态形状、多流推理。
TensorRT多流
24
vLLM与PagedAttention
KV Cache显存管理、非连续显存分配、吞吐提升原理。
vLLMPagedAttention
25
Continuous Batching
动态批处理、inflight batching、调度策略、吞吐收益。
动态批处理调度
26
Speculative Decoding
投机解码原理、草稿模型设计、加速比分析。
投机解码加速
27
多模态模型优化
视觉编码器优化、跨模态注意力、显存与吞吐联合优化。
多模态跨模态
28
端到端优化案例 (一) LLM训练
从基线到ZeRO+FlashAttention+TP的完整优化链路。
训练案例ZeRO
29
端到端优化案例 (二) LLM推理
从基线到TensorRT+vLLM+Continuous Batching的完整优化链路。
推理案例vLLM
30
总结与最佳实践
优化方法论总结、常见陷阱、未来趋势（稀疏计算、光互联、存算一体）。
总结趋势