VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA自定义算子开发与内核优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
CUDA自定义算子开发全景
目标=算子与内核的关系 · 自定义算子的典型场景 · 开发流程与工具链
CUDA自定义算子开发全…
02
GPU硬件架构与执行模型
目标=SM · SP · Warp
GPU硬件架构
03
CUDA编程模型与内核启动
目标=核函数定义 · 线程索引计算 · 网格与块维度配置
CUDA编程模型
04
开发环境搭建与调试工具
目标=CUDA Toolkit安装 · nvcc编译 · Nsight Systems
开发环境搭建调试工具
05
内存访问优化基础
目标=全局内存合并 · 共享内存bank冲突 · 向量化加载
内存访问优化基础目标=全局内存合…
06
线程组织与执行效率
目标=线程块大小选择 · 网格大小调整 · 占用率计算
线程组织执行效率
07
自定义逐元素算子开发
目标=向量加法 · 乘法 · 激活函数
自定义逐元素算子…目标=向量加法
08
自定义归约算子开发
目标=求和 · 求最大值 · 求最小值
自定义归约算子开…目标=求
09
自定义扫描算子开发
目标=前缀和 · 前缀积 · 包含/排除扫描
自定义扫描算子开…目标=前缀
10
自定义矩阵乘法算子开发
目标=朴素矩阵乘法 · 共享内存分块 · 寄存器分块
自定义矩阵乘法算…目标=朴素矩阵乘…
11
自定义卷积算子开发
目标=直接卷积 · im2col · 隐式GEMM
自定义卷积算子开…目标=直接卷积
12
自定义池化与归一化算子开发
目标=最大池化 · 平均池化 · 全局池化
自定义池化归一化算子开发
13
自定义激活与损失算子开发
目标=ReLU · LeakyReLU · Sigmoid
自定义激活损失算子开发
14
自定义注意力机制算子开发
目标=缩放点积注意力 · 多头注意力 · FlashAttention思想
自定义注意力机制…目标=缩放点积注…
15
自定义排序与选择算子开发
目标=双调排序 · 基数排序 · 快速排序
自定义排序选择算子开发
16
自定义稀疏算子开发
目标=稀疏格式CSR/COO/BSR · 稀疏矩阵向量乘 · 稀疏矩阵乘
自定义稀疏算子开…CSR/COO/BSR
17
自定义图与集合算子开发
目标=图遍历 · BFS · DFS
自定义图集合算子开发
18
自定义随机数与采样算子开发
目标=伪随机数生成 · Philox · cuRAND集成
自定义随机数采样算子开发
19
自定义量化与低精度算子开发
目标=FP16 · BF16 · INT8
自定义量化低精度算子开发
20
自定义算子与深度学习框架集成
目标=PyTorch扩展 · torch.utils.cpp_ex… · ATen
自定义算子深度学习框架集成
21
内核融合与图优化
目标=算子融合策略 · 水平融合 · 垂直融合
内核融合图优化
22
动态并行与协作组
目标=动态并行 · 嵌套内核 · 协作组
动态并行协作组
23
多流与并发执行
目标=CUDA流 · 流优先级 · 事件同步
多流并发执行
24
多GPU与分布式算子开发
目标=NCCL · P2P访问 · 统一内存
GPU分布式算子开发
25
性能分析与瓶颈定位
目标=Nsight Compute指… · 内存吞吐 · 计算吞吐
性能分析瓶颈定位
26
高级优化技术
目标=寄存器分配 · 共享内存动态分配 · 异步拷贝
高级优化技术目标=寄存器分配
27
自定义算子测试与验证
目标=单元测试 · 数值精度对比 · 边界条件
自定义算子测试验证
28
自定义算子部署与生产化
目标=编译优化 · JIT · AOT
自定义算子部署生产化
29
实战项目一
目标=开发高性能自定义Transfo… · 前馈网络 · 层归一化
实战项目一Transfo
30
实战项目二
目标=开发自定义卷积神经网络算子库 · 池化 · 激活
实战项目二目标=开发自定义…