VIP20

本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

英伟达GPU运行时内核与调度解析

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · GPU计算基础与CUDA概述

课程导入学习目标

GPU硬件架构

SM · CUDA核心 · 内存层次

GPU硬件架构

CUDA编程模型

线程层次（grid · block · thread）

CUDA编程模型

运行时API概览

初始化 · 设备管理 · 上下文

内核启动流程

内核参数传递 · 启动配置 · 异步执行

内核启动流程内核参数传递

内核编译与加载

PTX · SASS · cubin

内核编译加载

运行时内核（Runtime Kernel）

CUDA Runtime API与D…

上下文管理

上下文创建 · 切换 · 销毁

上下文管理上下文创建

流（Stream）与事件（Event）

流的概念 · 创建 · 同步

多流并发 · 内核并发 · 数据依赖处理

并发执行多流并发

调度器架构

GPU硬件调度器（GigaThrea… · 工作分配

调度器架构GPU

线程块调度

线程块到SM的分配策略 · 负载均衡

线程块调度SM

线程束（Warp）调度

Warp调度器 · 指令级并行 · 分支发散

内核级调度

内核启动顺序 · 抢占 · 优先级

内核级调度内核启动顺序

运行时调度策略

CUDA运行时如何管理内核队列

运行时调度策略CUDA

全局内存 · 共享内存 · 寄存器

内存管理全局内存

内存分配与释放

cudaMalloc · cudaFree · 统一内存

内存分配释放

内存拷贝与传输

同步/异步拷贝 · 零拷贝 · 固定内存

内存拷贝传输

内核优化基础

占用率 · 内存访问模式 · 指令优化

内核优化基础占用率

性能分析工具

NVIDIA Nsight · nvprof · CUDA Events

性能分析工具NVIDIA

矩阵乘法优化（从朴素到共享内存）

案例实战矩阵乘法优化

归约（Reduction）算法优化

案例实战Reduction

卷积操作实现与优化

案例实战卷积操作实现

内核启动失败 · 内存错误 · 同步问题

常见问题内核启动失败

性能瓶颈分析 · 资源限制

常见问题性能瓶颈分析

多设备管理 · 点对点通信 · NVLink

设备端内核启动 · 嵌套执行

动态并行设备端内核启动

与深度学习框架集成

PyTorch/TensorFlow…

深度学习框架集成PyTorch/Tens…

设计高效内核的完整流程与最佳实践

综合提升设计高效内核的完…

核心要点回顾 · 进阶学习路径 · 项目建议

课程总结核心要点回顾