VIP8

本课程属于：030-GPU显存管理与碎片治理 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU集群显存调度实战

📚 共计 30 章节

GPU显存架构与基础概念

显存类型（HBM/GDDR）、显存带宽、显存容量、NVLink与PCIe拓扑

单卡显存管理

PyTorch显存分配机制、CUDA缓存分配器、显存碎片化问题

显存监控与Profiling工具

nvidia-smi、nvtop、PyTorch Profiler、Nsight Systems实战

模型显存占用分析

参数显存、梯度显存、优化器状态、激活值显存的计算方法

梯度检查点 (Gradient Checkpointing)

原理、实现方式、时间与空间的权衡

重计算节省显存

混合精度训练 (AMP)

FP16/BF16原理、显存节省效果、Loss Scaling策略

ZeRO优化器 (DeepSpeed)

ZeRO-1/2/3原理、显存节省对比、配置实战

张量并行 (Tensor Parallelism)

原理、通信开销、Megatron-LM实现

流水线并行 (Pipeline Parallelism)

GPipe、1F1B调度、显存均衡策略

数据并行 (Data Parallelism)

DDP与FSDP原理、显存冗余问题、FSDP分片策略

序列并行 (Sequence Parallelism)

Ring Attention、显存与通信的权衡

Ring Attention长序列

显存卸载 (Memory Offloading)

CPU卸载、NVMe卸载、卸载策略与性能影响

显存复用与重计算

激活值重计算、显存池化、动态显存调度

复用重计算

显存碎片整理

CUDA Memory Pool、碎片率监控、碎片整理策略

碎片Memory Pool

显存预留与预分配

CUDA缓存预热、显存预留策略、避免OOM的技巧

多任务显存隔离

MIG技术、时间片调度、显存QoS保障

显存OOM分析与定位

OOM日志解读、显存快照分析、常见OOM场景

显存动态调整

弹性训练、动态显存分配、任务优先级调度

显存压缩技术

量化（INT8/INT4）、稀疏化、知识蒸馏对显存的影响

显存调度策略设计

贪心策略、最优匹配策略、基于优先级的调度

显存调度器实现

调度器架构、任务队列管理、显存状态管理

显存调度算法优化

遗传算法、强化学习在显存调度中的应用

显存调度系统实战

Kubernetes + GPU调度、Volcano调度器配置

显存调度性能评估

吞吐量、排队延迟、显存利用率、公平性指标

显存调度案例分析

大模型训练集群调度、推理服务调度

显存调度故障恢复

任务抢占、显存快照恢复、断点续训

显存调度安全与隔离

多租户显存隔离、显存访问控制、安全策略

安全多租户

显存调度监控与告警

Prometheus + Grafana监控、显存告警规则设计

PrometheusGrafana

显存调度最佳实践

配置调优、常见问题排查、性能优化清单

最佳实践调优

显存调度未来趋势

CXL互连、存算一体、新型显存技术对调度的影响

CXL存算一体