VIP20
本课程属于：012-GPU算力集群架构与运维 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU利用率波动深度分析与调优实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
GPU利用率波动的现象 · 影响 · 学习目标与课程框架
课程导入GPU
02
GPU基础架构
GPU硬件组成 · 计算与内存层次 · 流处理器与调度单元
GPU基础架构
03
GPU利用率指标
利用率定义 · 测量方法 · 常见监控工具（如nvidia-smi
GPU利用率指标
04
利用率波动类型
周期性波动 · 随机波动 · 尖峰与低谷的识别与分类
利用率波动类型周期性波动
05
系统级因素
CPU瓶颈 · PCIe带宽限制 · 内存带宽与延迟对GPU利用率的影响
系统级因素CPU
06
数据加载瓶颈
数据读取 · 预处理 · 增强与传输的流水线优化
数据加载瓶颈数据读取
07
模型结构影响
层间同步 · 小算子频繁启动 · 动态形状对利用率的影响
模型结构影响层间同步
08
并行策略
数据并行 · 模型并行 · 流水线并行与混合并行的利用率特征
并行策略数据并行
09
框架层面
PyTorch/TensorFlow… · 图模式与Eager模式对比
框架层面PyTorch/Tens…
10
性能分析工具
Nsight Systems · Nsight Compute · PyTorch Profiler的使…
性能分析工具Nsight
11
案例分析
图像分类训练中的利用率波动诊断与优化
案例分析图像分类训练
12
案例分析
NLP Transformer训练中…
案例分析NLP
13
案例分析
推荐系统模型训练中的利用率波动与优化
案例分析推荐系统模型训练
14
案例分析
强化学习训练中的利用率波动与优化
案例分析强化学习训练
15
案例分析
推理服务中的利用率波动与优化
案例分析推理服务
16
内存优化
显存不足导致的换入换出 · 内存碎片与优化
内存优化显存不足导致的换…
17
内核优化
减少kernel启动开销 · 内核融合与算子融合
内核优化kernel
18
异步执行
CUDA流 · 事件与异步数据加载的实践
异步执行CUDA
19
多GPU通信
NCCL通信模式 · 通信与计算重叠
GPU通信
20
分布式训练
分布式数据并行中的负载均衡与利用率波…
分布式训练分布式数据并行
21
超参数调优
批大小 · 学习率 · 梯度累积对利用率的影响
超参数调优批大小
22
动态形状处理
padding · bucket与动态图优化
动态形状处理padding
23
资源隔离与共享
多租户环境下的利用率波动与QoS
资源隔离共享
24
监控与告警
构建利用率监控体系 · 设置告警阈值
监控告警
25
常见问题
利用率低但GPU占用高 · 利用率波动大但性能稳定等
常见问题GPU
26
调优方法论
系统化诊断流程 · 瓶颈定位与优化优先级
调优方法论系统化诊断流程
27
实战项目
端到端优化一个深度学习训练任务
实战项目端到端优化一个深…
28
实战项目
优化一个推理服务 · 降低波动并提升吞吐
实战项目优化一个推理服务
29
综合提升
结合容器化 · Kubernetes与自动扩缩容的利…
综合提升结合容器化
30
课程总结
核心要点回顾 · 最佳实践与进阶学习路径
课程总结核心要点回顾