VIP20

本课程属于：004-TensorCore优化 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

GPU调度优化全流程实战

📚 共计 30 章节

GPU调度概述

GPU工作原理 · 调度问题的由来 · 调度优化的目标与挑战

GPU硬件架构

SM（流多处理器）结构 · 内存层次结构 · PCIe与NVLink总线

CUDA编程模型

Kernel启动 · 线程层次结构 (Grid/Block/Thread) · 内存模型

GPU任务调度基础

任务队列 · 调度器工作原理 · 上下文切换

GPU资源管理

计算资源分配 · 内存资源分配 · 带宽资源分配

GPU调度策略

FIFO调度 · 优先级调度 · 公平调度 · 混合调度

GPU调度性能指标

吞吐量 · 延迟 · 利用率 · 公平性 · QoS

GPU调度瓶颈分析

计算瓶颈 · 内存瓶颈 · 通信瓶颈 · 调度开销

GPU调度优化工具

NVIDIA Nsight Systems · Nsight Compute · nvprof · nvidia-smi

工具Profiling

GPU调度Profiling实战

使用Nsight Systems分析调度事件 · 识别热点

Kernel融合优化

Kernel融合原理 · 融合策略 · 融合实现

Stream并发优化

Stream概念 · 多Stream调度 · Stream优先级

MPS（多进程服务）

MPS原理 · MPS配置 · MPS性能调优

MIG（多实例GPU）

MIG架构 · MIG分区 · MIG调度

时间片调度优化

时间片大小调整 · 抢占机制 · 优先级反转

时间片抢占

内存管理优化

内存池化 · 内存预分配 · 内存复用 · 统一内存

数据传输优化

异步传输 · 双缓冲 · 流水线传输 · RDMA

负载均衡优化

静态负载均衡 · 动态负载均衡 · 任务窃取

功耗管理优化

DVFS · 功耗封顶 · 能效调度

容器化GPU调度

Docker GPU支持 · Kubernetes GPU调度 · 资源隔离

虚拟化GPU调度

GPU直通 · vGPU · GPU分时复用

多卡协同优化

多卡通信 (NCCL) · 多卡负载分配 · 多卡同步

深度学习场景调度

训练任务调度 · 推理任务调度 · 混合负载调度

HPC场景调度

MPI+GPU调度 · 任务依赖调度 · 批处理调度

实时场景调度

实时GPU调度 · 截止时间保证 · 资源预留

云原生场景调度

Serverless GPU · 弹性GPU调度 · Spot实例调度

云原生Serverless

调度器实现

调度器架构 · 调度算法实现 · 调度器测试

性能调优案例

典型问题分析 · 调优步骤 · 效果对比

异构计算调度 · 存算一体调度 · AI驱动调度

全流程总结

知识体系回顾 · 最佳实践 · 学习路径建议