VIP20

本课程属于：026-CUDA内存拷贝 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存优化核心技能提升

📚 共计 30 章节

显存基础与硬件原理

GPU架构简介 · 显存类型与带宽 · 显存与主存数据通路 · CUDA核心与显存关系

PyTorch显存管理机制

Tensor存储与视图 · 计算图与中间变量 · 梯度与优化器状态 · 分配与释放策略

显存分析工具实战

nvidia-smi详解 · memory_summary() · memory_profiler · PyTorch Profiler

梯度检查点技术

原理与实现 · 时间与空间权衡 · Transformer应用 · 实战配置与调优

梯度检查点

混合精度训练

FP16/BF16原理 · AMP自动混合精度 · 损失缩放 · 实战效果对比

梯度累积与微批次

小批量梯度下降 · 梯度累积实现 · 同步与异步 · 分布式训练应用

累积微批次

模型并行与张量并行

模型并行原理 · 张量切分策略 · 通信开销 · Megatron-LM实践

流水线并行

GPipe与PipeDream · 微批次调度 · 负载均衡 · 梯度同步策略

流水线调度

ZeRO-1/2/3原理 · 参数分片 · 梯度分片 · 状态分片 · 实战配置

CPU Offload技术

参数卸载 · 梯度卸载 · 优化器状态卸载 · NVMe Offload

激活值压缩

激活值存储分析 · 量化压缩 · 稀疏化压缩 · Checkpointing+压缩

内存碎片整理

碎片产生原因 · CUDA内存池 · empty_cache() · 自定义分配器

碎片内存池

数据加载优化

DataLoader prefetch · 内存映射文件 · 缓存策略 · 异步加载

模型剪枝与量化

结构化/非结构化剪枝 · 训练后量化 · 量化感知训练

教师-学生框架 · 软/硬标签 · 蒸馏温度 · 显存受限场景应用

分布式训练显存优化

Ring All-Reduce · 梯度压缩 · 通信计算重叠 · NCCL调优

分布式通信

Transformer显存优化

Flash Attention · KV Cache优化 · 稀疏注意力 · ALiBi与RoPE

Transformer注意力

卷积网络显存优化

Im2Col优化 · Winograd算法 · 内存复用 · 深度可分离卷积

循环网络显存优化

LSTM/GRU显存分析 · 反向传播优化 · 梯度裁剪 · 序列打包

生成模型显存优化

扩散模型显存分析 · 潜在空间压缩 · 采样加速 · 模型蒸馏

强化学习显存优化

经验回放池管理 · 模型并行 · 分布式采样 · PPO优化

强化学习PPO

图神经网络显存优化

邻接矩阵压缩 · 采样策略 · Mini-Batch训练 · 内存池化

推理阶段显存优化

模型量化 · 算子融合 · 动态形状处理 · KV Cache管理

多任务学习显存优化

共享编码器 · 任务特定头 · 梯度冲突解决 · 动态资源分配

多任务共享

AutoML与NAS显存优化

超网络设计 · 权重共享 · 渐进式搜索 · 单次评估策略

大规模推荐系统显存优化

Embedding压缩 · 特征交叉优化 · 模型并行 · 增量更新

推荐Embedding

视频理解模型显存优化

3D卷积优化 · 时序采样 · 帧间压缩 · 光流复用

多模态模型显存优化

模态对齐 · 特征融合 · 跨模态注意力 · 模态特定压缩

多模态融合

边缘设备显存优化

模型轻量化 · 算子库优化 · 内存复用 · 异构计算

综合实战与案例

大语言模型训练优化 · 图像生成优化 · 端到端系统设计 · 性能调优方法论