VIP8

本课程属于：036-CUDA内存传输与带宽优化 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存峰值优化实战指南

📚 共计 30 章节

显存基础与瓶颈分析

显存架构、带宽与容量、常见瓶颈场景、性能分析工具介绍

数据加载优化

DataLoader调优、pin_memory、prefetch_factor、多进程加载

模型结构优化

梯度检查点、混合精度、模型并行、参数共享与压缩

动态显存管理

torch.no_grad、del/gc.collect、in-place、碎片整理

实战案例与工具链

PyTorch Profiler、Nsight Systems、泄漏排查、端到端流程

高级技巧与未来趋势

ZeRO、CPU Offloading、Flash Attention、量化与蒸馏

分布式训练显存优化

数据并行、模型并行、流水线并行、张量并行对比

分布式并行

推理阶段显存优化

KV Cache、连续批处理、PagedAttention、vLLM

显存监控与告警

nvidia-smi深度使用、dcgm-exporter、Prometheus+Grafana

容器化环境显存管理

Docker GPU限制、K8s GPU调度、MIG技术应用

框架级优化

autograd机制、JIT编译、torch.compile、TensorRT集成

算子级优化

融合算子、kernel编写、cuDNN/cuBLAS调优、FlashAttention

数据预处理优化

增强流水线、缓存策略、TFRecord/WebDataset、内存映射

激活值与梯度优化

激活值压缩、梯度累积、梯度裁剪、混合精度缩放

优化器显存优化

Adafactor、LAMB、8-bit Adam、SGD动量压缩

优化器低精度

模型剪枝与稀疏化

结构化剪枝、非结构化、稀疏训练、NVIDIA ASP

知识蒸馏实战

软标签蒸馏、特征蒸馏、在线蒸馏、蒸馏+量化

量化技术深入

PTQ/QAT、INT8/INT4、AWQ/、量化感知训练

模型部署优化

ONNX导出、TensorRT、DeepSpeed Inference、Triton

大语言模型显存优化

LLM显存模型、MQA/GQA、推测解码、模型并行

多模态模型优化

ViT优化、CLIP压缩、多模态融合策略

强化学习显存优化

PPO优化、经验回放压缩、分布式RL框架

图神经网络优化

GNN显存瓶颈、邻居采样、Mini-Batch、量化

生成对抗网络优化

GAN稳定性、梯度惩罚、渐进式增长

时间序列模型优化

Transformer时序、Informer、长序列处理

时序Transformer

推荐系统优化

大规模Embedding压缩、特征交叉、多任务学习

推荐Embedding

计算机视觉优化

YOLO系列优化、检测头压缩、特征金字塔

自然语言处理优化

BERT压缩、ALBERT参数共享、ELECTRA效率

自动化显存优化工具

AutoMixedPrecision、AutoGradCheckpoint、AutoModelParallel

自动化工具

综合案例与最佳实践

全链路优化、性能基准测试、优化决策树

综合最佳实践