所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

AI训练师:GPU资源管理与优化实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 目标学员 · 课程整体框架

课程导入学习目标

GPU基础架构

GPU硬件组成（SM · 显存 · 带宽）

GPU基础架构

AI训练中的GPU工作负载

训练与推理的GPU需求差异 · 典型深度学习模型（CNN/Trans…

GPU资源监控基础

常用监控工具（nvidia-smi · nvtop · DCGM）

GPU资源监控基础

性能分析工具实战

使用Nsight Systems · Nsight Compute · PyTorch Profiler定位…

性能分析工具实战Nsight

显存优化技术

梯度检查点 · 混合精度训练（FP16/BF16） · 显存碎片整理

显存优化技术梯度检查点

计算效率优化

内核融合 · 算子优化 · Tensor Core利用

计算效率优化内核融合

数据加载与预处理优化

DataLoader多进程 · 预取 · 缓存

数据加载预处理优化

分布式训练基础

数据并行 · 模型并行 · 流水线并行

分布式训练基础数据并行

分布式训练框架实践

PyTorch DDP · Horovod · DeepSpeed

分布式训练框架实…PyTorch

GPU资源调度与编排

Kubernetes + GPU调度 · NVIDIA MPS · 时间切片

GPU资源调度

多用户多任务GPU管理

资源配额 · 优先级 · 抢占策略

GPU多用户多任务

GPU集群监控与告警

Prometheus + Grafa… · 自定义指标 · 告警规则设计

GPU集群监控

成本优化与资源规划

按需/spot实例选择 · GPU利用率与成本平衡 · 预留容量规划

成本优化资源规划

单卡训练性能优化——从基线到提速50…

案例实战单卡训练性能优化

多卡分布式训练——ResNet-50…

案例实战ResNet-50

大模型训练——规模模型的显…

推理服务GPU优化——TensorR… · ONNX Runtime · 动态批处理与模型量化

案例实战GPU

常见问题排查

GPU利用率低 · 显存溢出 · 通信瓶颈

常见问题排查GPU

性能调优方法论

建立基准 · 瓶颈识别 · 迭代优化

性能调优方法论建立基准

GPU虚拟化与容器化

Docker GPU支持 · NVIDIA Container T… · vGPU与MIG技术

深度学习框架的GPU适配

PyTorch · TensorFlow · JAX的GPU内存管理与优化选项对比

GPU深度学习框架的

自动混合精度与量化

AMP原理 · 动态损失缩放 · INT8/INT4量化对GPU资源的…

自动混合精度量化

GPU通信优化

NCCL原理 · 拓扑感知 · 通信压缩（梯度压缩）

GPU通信优化

资源利用率提升策略

动态批处理 · 梯度累积 · 微批次调度

资源利用率提升策…动态批处理

GPU故障处理与容错

常见硬件故障 · 训练中断恢复（checkpoint） · 弹性训练

GPU故障处理

绿色计算与功耗优化

功耗限制（power capping… · 频率调节 · 能效比优化

绿色计算功耗优化

从零构建一个GPU资源管理平台——监… · 调度 · 配额

综合实战GPU

GPU架构演进（H100 · MI300） · Chiplet

前沿趋势GPU

课程总结与进阶路径

核心技能回顾 · 常见误区 · 认证与学习资源推荐

课程总结进阶路径