01
核函数基础
什么是核函数 · 核函数在计算中的作用 · 与普通函数的区别
概念入门
02
计算瓶颈分析
识别计算密集型任务 · 内存带宽瓶颈 · 延迟隐藏技术
性能瓶颈
03
并行计算模型
数据并行 · 任务并行 · 流水线并行 · 混合并行策略
并行模型
04
GPU架构与核函数
CUDA核心概念 · 线程层次结构 · 内存层次结构
GPUCUDA
05
核函数启动配置
Grid/Block尺寸选择 · Occupancy优化 · 动态并行
配置Occupancy
06
内存访问优化
全局内存合并 · 共享内存 · 常量内存与纹理内存
内存带宽
07
寄存器优化
寄存器压力管理 · 私有内存溢出 · 分配策略
寄存器优化
08
指令级并行
ILP概念 · 循环展开 · 编译器优化选项
ILP循环
09
分支发散优化
Warp执行模型 · 分支预测 · 数据重组减少发散
分支Warp
10
原子操作与同步
原子函数 · __syncthreads() · Warp级原语
同步原子
11
流与并发执行
CUDA流 · 异步操作 · 多流并发 · MPS服务
流并发
12
核函数融合
算子融合原理 · 融合策略 · 减少内核启动开销
融合Kernel
13
向量化计算
SIMD/SIMT概念 · 向量化数据类型 · 自动向量化
SIMD向量化
14
缓存优化
L1/L2缓存策略 · 缓存命中率提升 · 缓存行利用
缓存命中率
15
计算与内存比
算术强度概念 · Roofline模型 · 性能上界分析
Roofline强度
16
核函数性能分析工具
NVIDIA Nsight · nvprof · Visual Profiler
工具Profiling
17
性能计数器解读
指令吞吐量 · 内存带宽利用率 · 占用率指标
计数器指标
18
矩阵乘法优化
分块算法 · 共享内存平铺 · 寄存器平铺 · 向量化加载
GEMM平铺
19
卷积核优化
im2col · Winograd · FFT卷积 · 直接卷积优化
卷积im2col
20
归约操作优化
树形归约 · Warp级归约 · 多阶段归约
归约Warp
21
扫描操作优化
并行扫描算法 · Bank冲突避免 · 高效实现
Scan前缀和
22
排序核函数优化
并行排序 · Bitonic排序 · Radix排序GPU实现
排序Radix
23
稀疏计算优化
稀疏矩阵存储格式 · SpMV优化 · 稀疏注意力机制
稀疏SpMV
24
图计算核函数
GNN算子优化 · 消息传递范式 · 图并行策略
GNN图
25
自动调优技术
Auto-tuning框架 · 参数搜索空间 · 贝叶斯优化
自动调优搜索
26
编译器优化
PTX/SASS优化 · 内联PTX汇编 · 编译器内置函数
编译器PTX
27
多GPU编程
NCCL通信库 · 数据并行分布式训练 · 模型并行策略
多GPUNCCL
28
核函数调试技巧
边界检查 · 数值稳定性 · 错误处理与恢复
调试稳定性
29
性能可移植性
跨平台核函数编写 · HIP/DPC++迁移 · OpenMP Target
可移植HIP
30
前沿趋势
动态形状核函数 · 图编译技术 · AI辅助核函数生成
前沿AI