VIP8

本课程属于：034-GPU资源调度与任务编排 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零学会GPU任务调度

📚 共计 30 章节

GPU调度全景图

什么是GPU任务调度？为什么需要调度？GPU与CPU在调度上的核心差异。

GPU硬件架构入门

SM（流多处理器）、Warp（线程束）、Core（CUDA核心）的基本概念。

CUDA编程模型

Grid、Block、Thread的三层结构，以及它们如何映射到硬件。

任务提交与分发

CPU如何将Kernel函数提交到GPU，Command Queue与Stream的概念。

Warp调度机制

Warp Scheduler的工作原理，Warp Divergence（分支发散）及其影响。

Occupancy（占用率）

什么是Occupancy？如何计算？为什么它影响性能？

Shared Memory与同步

Shared Memory的作用，__syncthreads()的调度含义。

Global Memory访问模式

Coalescing（合并访问）原理，如何优化内存调度。

Stream与异步并发

多Stream并行执行，如何实现CPU与GPU的异步操作。

CUDA Event与时间测量

使用Event进行Kernel执行时间的精确测量。

GPU调度器硬件实现

GigaThread Engine、Work Distributor等硬件组件的角色。

Priority与抢占

GPU任务的优先级调度，以及硬件抢占机制。

MPS（Multi-Process Service）

多进程共享GPU时的调度策略。

多进程共享

MIG（Multi-Instance GPU）

A100/H100的MIG技术，如何实现硬件级隔离调度。

隔离虚拟化

vGPU与SR-IOV技术，虚拟化环境下的调度挑战。

Kubernetes与GPU调度

k8s如何管理GPU资源，Device Plugin机制。

NVIDIA GPU Operator的架构与调度原理。

Operator云原生

任务调度器设计

设计一个简单的GPU任务调度器，核心数据结构与算法。

FIFO、Round Robin、Priority Queue等策略在GPU场景下的应用。

如何将多个任务均匀分配到不同的GPU或SM上。

动态资源分配

根据任务需求动态调整GPU内存与计算资源。

性能分析工具

NVIDIA Nsight Systems、Nsight Compute的使用与调度分析。

工具profiling

Profiling指标解读

理解Kernel Launch、SM Occupancy、Memory Throughput等指标。

常见性能瓶颈

Launch Overhead、Load Imbalance、Memory Stall等问题的诊断。

优化案例1：矩阵乘法

矩阵乘法调度优化，从Naive到Tiled再到cuBLAS。

优化案例2：Reduce操作

Reduce操作调度优化，Warp Shuffle与Shared Memory的结合。

优化案例3：卷积调度

卷积操作的调度优化，im2col与Winograd算法。

深度学习框架调度

PyTorch/TensorFlow如何调度GPU Kernel。

JIT编译与调度

CUDA Graph、Triton等动态编译技术对调度的影响。

CXL、Unified Memory、Chiplet架构对GPU调度的变革。