VIP20

本课程属于：018-TensorCore AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存优化实战技巧

📚 共计 30 章节

GPU显存架构 · 带宽与容量 · 显存vs内存 · 优化必要性

nvidia-smi · torch.cuda · PyTorch Profiler · 自定义工具

数据类型优化

FP32/FP16/BF16 · 混合精度原理 · AMP实战 · 精度排查

原理 · 实现 · Batch Size关系 · 实战案例

梯度检查点

检查点原理 · torch.utils.checkpoint · 时间权衡 · 配置建议

原理 · Pipeline Parallelism · Tensor Parallelism · 实战

并行分布式

DataParallel vs DDP · DDP原理 · 配置 · 常见问题

Stage 1/2/3 · DeepSpeed配置 · Offload · 实战案例

激活值优化

存储机制 · 压缩 · 重计算 · 优化实战

激活值压缩

产生原因 · CUDA缓存分配器 · PyTorch缓存 · 优化策略

Batch Size调优

显存关系 · 动态Batch · 梯度累积替代 · 选择策略

序列长度优化

显存关系 · 动态序列 · 序列打包 · 实战优化

剪枝原理 · 结构化 · 非结构化 · 实战评估

量化原理 · PTQ · QAT · 实战精度分析

蒸馏原理 · 软标签 · 特征蒸馏 · 实战案例

蒸馏小型化

分布式训练

分布式基础 · NCCL配置 · 常见问题 · 多机多卡

CPU Offload · NVLink/PCIe · 交换策略 · 性能优化

计算图优化

计算图原理 · 算子融合 · CUDA Graph · 实战优化

数据加载优化

DataLoader配置 · 内存映射 · 预处理优化 · 显存关系

模型结构优化

Attention · FFN · LayerNorm · Embedding优化

Flash Attention

原理 · 实现 · Flash Attention v2 · 实战配置

Attention加速

原理 · vLLM框架 · 配置 · 推理优化实战

Continuous Batching

原理 · 推理引擎 · 动态批处理 · 吞吐优化

批处理推理

原理 · 量化 · 共享 · 压缩

推理引擎 · TensorRT · ONNX Runtime · 显存优化

泄漏检测 · 常见场景 · 修复方法 · 预防策略

多任务显存管理

多任务调度 · 显存池 · 动态分配 · 优化实战

多任务调度

显存优化工具

PyTorch Memory Stats · CUDA Dump · Profiler · 自定义

大模型训练优化

LLM显存分析 · LoRA · QLoRA · 实战微调

综合实战案例

分析到优化全流程 · 技术组合 · 性能权衡 · 效果评估