所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

CUDA cuBLAS与GPU并行计算优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · GPU计算概览
课程导入学习目标
02
GPU架构基础
SM · 线程层次（grid/block/wa… · 内存层次（全局
GPU架构基础
03
CUDA编程入门
CUDA C/C++基础 · 核函数编写 · 线程索引计算
CUDA编程入门
04
CUDA编译与调试
nvcc编译流程 · 运行时API与驱动API · 错误检查
CUDA编译
05
并行计算核心概念
并行模式（映射 · 归约 · 扫描）
并行计算核心概念并行模式
06
CUDA内存优化
全局内存合并访问 · 共享内存bank冲突 · 寄存器溢出
CUDA内存优化
07
线程同步与协作
__syncthreads · 原子操作 · 线程束内同步
线程同步协作
08
归约与扫描优化
树形归约 · warp shuffle归约 · block归约
归约扫描优化
09
矩阵乘法基础
CPU实现与GPU朴素实现 · 分块矩阵乘法（tiling） · 共享内存优化
矩阵乘法基础CPU
10
cuBLAS库概述
cuBLAS API分类（Level… · 句柄管理 · 数据类型（float/double/…
cuBLAS库概述
11
cuBLAS Level 1操作
向量操作（axpy · dot · nrm2
cuBLASLevel
12
cuBLAS Level 2操作
矩阵-向量乘（gemv） · rank-1更新（ger） · 性能瓶颈分析
cuBLASLevel
13
cuBLAS Level 3操作
矩阵-矩阵乘（gemm） · 批量gemm（batched） · strided batched ge…
cuBLASLevel
14
cuBLAS高级特性
cublasXt（多GPU） · cublasLt（轻量级gemm） · tensor core支持
cuBLAS高级特性
15
cuBLAS与自定义内核对比
性能基准测试 · 带宽与计算强度分析 · 何时使用cuBLAS vs 自定义
cuBLAS自定义内核对比
16
GPU性能分析工具
Nsight Compute · Nsight Systems · nvprof
GPU性能分析工具
17
性能优化方法论
Roofline模型 · 瓶颈识别（内存/计算/延迟） · 优化循环（profile-optim…
性能优化方法论Roofline
18
共享内存优化实战
矩阵乘法tiling优化 · bank conflict消除 · padding技术
共享内存优化实战tiling
19
线程束优化
warp shuffle指令 · warp级归约 · 避免分支发散
线程束优化warp
20
内存访问优化实战
合并访问模式 · 向量化加载（float4） · 对齐与填充
内存访问优化实战合并访问模式
21
并行归约实战
实现高性能归约内核 · 多block归约 · 原子操作与全局同步
并行归约实战实现高性能归约内…
22
稀疏矩阵运算
稀疏矩阵存储格式（CSR/CSC/C… · cuSPARSE库简介 · 稀疏gemv/gemm优化
稀疏矩阵运算CSR/CSC/C
23
多GPU编程
多GPU环境配置 · 点对点通信（P2P） · CUDA流与事件
GPU编程
24
CUDA流与并发
流创建与同步 · 事件计时 · 多流调度
CUDA并发
25
cuBLAS多流与多GPU
在多个流中调用cuBLAS · 多GPU分块策略 · 负载均衡
cuBLASGPU
26
混合精度与Tensor Core
FP16/BF16/INT8精度 · Tensor Core原理 · cuBLAS混合精度gemm
TensorCore
27
案例实战
使用cuBLAS实现神经网络全连接层… · 与PyTorch/TensorRT对…
案例实战cuBLAS
28
案例实战
高性能矩阵乘法库开发（类似CUTLA… · 从零实现分块gemm并调优
案例实战CUTLA
29
常见问题与调试
CUDA错误码 · 内存越界 · 同步问题
常见问题调试
30
综合提升与项目实践
综合运用所学优化一个真实应用（如线性… · K-means · 图像卷积）
综合提升项目实践