VIP20

本课程属于：011-CUDA AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA显存优化技巧 · 系统化讲解

📚 共计 30 章节

显存基础与瓶颈分析

GPU显存架构（HBM/GDDR）、显存带宽与延迟、显存容量限制、显存溢出（OOM）的常见场景。

张量（Tensor）的内存布局

连续内存与非连续内存、Stride与内存对齐、NCHW与NHWC格式对显存的影响。

内存对齐格式

梯度累积（Gradient Accumulation）

原理与实现、Batch Size与显存的关系、实战代码示例。

混合精度训练（AMP）

FP16/BF16原理、AMP的3种策略（O0/O1/O2/O3）、Loss Scaling技巧。

梯度检查点（Gradient Checkpointing）

时间换空间原理、Checkpointing的粒度选择、与AMP的配合。

显存碎片化问题

碎片产生的原因、PyTorch的缓存分配器、使用PYTORCH_CUDA_ALLOC_CONF优化。

碎片分配器

ZeRO优化器（DeepSpeed）

ZeRO Stage 1/2/3原理、Offload到CPU/NVMe、实战配置。

DeepSpeedOffload

模型并行（Model Parallelism）

Layer-wise切分、Pipeline Parallelism（GPipe/1F1B）、手动实现示例。

张量并行（Tensor Parallelism）

行/列切分、Megatron-LM的实现思路、通信开销分析。

数据并行（Data Parallelism）

DDP与FSDP对比、FSDP的Sharding策略、实战调优。

激活值显存优化

Activation Checkpointing进阶、选择性Checkpointing、In-place操作。

激活值In-place

优化器状态显存优化

Adam的显存占用、Adafactor/LION等低显存优化器、8-bit优化器（bitsandbytes）。

显存复用与In-place操作

torch.inference_mode、torch.no_grad、原地操作（add_/mul_）的注意事项。

inference原地操作

显存池与缓存机制

CUDA Stream与显存分配、MPS（Multi-Process Service）、显存池化技术。

显存分析与Profiling工具

nvidia-smi详解、Nsight Systems显存跟踪、PyTorch Memory Snapshot。

ProfilingNsight

显存泄漏检测与修复

Python引用循环、未释放的Variable、使用gc模块和torch.cuda.memory_summary。

动态形状（Dynamic Shape）优化

Padding策略、Variable-length Batch、Triton Kernel中的动态显存。

稀疏计算与显存节省

稀疏张量（torch.sparse）、混合稀疏训练、结构化稀疏。

稀疏结构化

量化（Quantization）与显存

INT8/INT4量化原理、PTQ与QAT、量化后的显存收益计算。

Flash Attention与显存

Flash Attention原理、对KV Cache的优化、在LLM推理中的应用。

KV Cache优化（LLM推理）

PagedAttention原理、vLLM的实现、Prefix Caching。

vLLMPagedAttention

连续批处理（Continuous Batching）

原理与实现、与Static Batching的对比、显存效率分析。

CPU Offloading技术

模型参数Offload、优化器状态Offload、激活值Offload的权衡。

显存压缩技术

梯度压缩（Gradient Compression）、通信压缩（AllReduce压缩）、量化通信。

压缩AllReduce

多GPU显存均衡

负载不均问题、自动重平衡策略、PipeDream的显存均衡方案。

均衡PipeDream

CUDA Graph与显存

CUDA Graph原理、捕获与重放、减少CPU-GPU交互的显存开销。

CUDA Graph捕获

自定义显存分配器

PyTorch的CachingAllocator、自定义Allocator的接口、使用CUB/CUTLASS管理显存。

显存优化的自动化工具

AutoMixedPrecision、AutoGradCheckpointing、显存优化编译器（XLA/TVM）。

显存优化的Benchmark与评估

显存峰值测量、吞吐量与显存的Trade-off、标准化测试方法。

Benchmark吞吐

综合案例实战：LLaMA-7B

训练一个LLaMA-7B模型（显存从80GB优化到20GB）、全流程优化步骤、效果对比。