VIP20

本课程属于：023-算子优化 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存优化高阶技术精讲

📚 共计 30 章节

显存基础与瓶颈分析

显存架构（HBM/GDDR）、带宽与容量权衡、PyTorch显存分配机制、常见OOM场景剖析

梯度检查点 (Gradient Checkpointing)

原理详解（时间换空间）、torch.utils.checkpoint实现、分段策略与性能调优、与DDP/FSDP兼容性

重计算节省显存

混合精度训练 (AMP)

FP16/BF16原理、AMP的GradScaler机制、Loss Scaling技巧、硬件支持与Tensor Cores利用

ZeRO优化器 (DeepSpeed)

ZeRO-1/2/3原理对比、Offload to CPU/NVMe、ZeRO++通信优化、与HuggingFace Trainer集成

激活值压缩与重计算

Activation Checkpointing变体、选择性重计算策略、Compressible Activation、内存预算分配算法

模型并行 (Model Parallelism)

张量并行（Megatron-LM）、流水线并行（GPipe/1F1B）、序列并行（Ring Attention）、2D/3D并行组合

数据并行优化

DDP梯度同步优化、FSDP分片策略（Full Shard/Hybrid Shard）、梯度累积与微批次、异步DDP

显存碎片化治理

CUDA缓存分配器机制、PYTORCH_CUDA_ALLOC_CONF配置、expandable_segments、碎片率监控与诊断

CPU Offloading技术

模型参数Offload、优化器状态Offload、梯度Offload、Activation Offloading（LOMO/AdaLomo）

Flash Attention系列

FlashAttention-1/2/3原理、内存访问模式优化、Block-Sparse Attention、与xFormers集成

PagedAttention与vLLM

KV Cache管理、Paged Memory机制、Prefix Caching、投机解码中的显存优化

量化技术 (PTQ/QAT)

INT8/INT4量化原理、LLM.int8()与GPTQ、AWQ与SmoothQuant、KV Cache量化

稀疏化与剪枝

结构化/非结构化剪枝、SparseGPT与Wanda、2:4稀疏模式（NVIDIA）、动态稀疏训练

内存高效的数据加载

内存映射（mmap）、缓存行对齐、预取与流水线、WebDataset与FFCV

mmap数据加载

计算图优化

JIT编译（TorchScript/torch.compile）、算子融合（Fusion）、垂直融合与水平融合、CUDA Graph捕获

分布式训练通信优化

AllReduce拓扑优化（Ring/Ring Tree）、NCCL调优（NCCL_ALGO/NCCL_PROTO）、梯度压缩（QSGD/TopK）

显存Profiling工具

torch.cuda.memory_summary、Nsight Systems、PyTorch Memory Snapshot、Memory Profiler对比

ProfilingNsight

动态显存管理

动态批处理（Dynamic Batching）、弹性训练（Elastic Training）、显存热插拔、OOM自动恢复

长序列训练优化

ALiBi与RoPE的显存影响、稀疏注意力（Longformer/BigBird）、序列并行（DeepSpeed Ulysses）、Ring Attention实现

长序列稀疏

MoE（混合专家）显存优化

Expert Parallelism、容量因子调整、辅助损失平衡、Token Dropping策略

低秩适配（LoRA）与微调

LoRA原理与显存节省、QLoRA（4bit NF4）、AdaLoRA与DoRA、多任务LoRA部署

推理阶段显存优化

Continuous Batching、KV Cache复用、Speculative Decoding、Page Attention变体

多模态模型显存优化

视觉编码器卸载、交叉注意力缓存、模态异步加载、BLIP-2/Qwen-VL实践

多模态视觉

容器化与资源隔离

Docker GPU限制（--gpus）、CUDA MPS、MIG（Multi-Instance GPU）、Kubernetes GPU调度

显存泄漏检测与修复

Python引用循环、CUDA上下文泄漏、DataLoader worker泄漏、Tensor生命周期管理

异构内存管理

Unified Memory（CUDA Managed）、UVMAwareAllocator、CPU-GPU页迁移、AEP/NVM利用

编译器级优化

XLA与PJRT、Triton语言编写Kernel、TVM AutoTVM、MLIR与StableHLO

编译器Triton

大规模训练显存规划

3D并行配置策略、显存预算公式（Model FLOPs Utilization）、通信计算重叠、Checkpointing策略

前沿显存技术

CXL（Compute Express Link）、近存计算（Processing-in-Memory）、光互连、存算一体芯片

综合实战：70B模型显存优化

从OOM到稳定训练、多方案组合（ZeRO+Checkpoint+FlashAttention+量化）、性能调优Checklist