第1章
AI芯片与算子优化概述
AI芯片发展简史 · 算子优化的意义 · 课程目标与学习路径
导论思维
第2章
深度学习算子基础
卷积、池化、全连接、激活函数、归一化等算子的数学定义与计算模式
卷积池化激活
第3章
硬件架构基础
GPU、NPU、TPU架构对比 · 计算单元 · 存储层次 · 带宽瓶颈
GPUNPUTPU
第4章
计算核心与存储层次
SM/CU核心详解 · L1/L2 Cache · Shared/Global Memory延迟与带宽
存储延迟
第5章
算子性能分析工具
NVIDIA Nsight Systems · Nsight Compute · PyTorch Profiler
ProfilerNsight
第6章
性能指标与瓶颈定位
FLOPs · MACs · 内存带宽利用率 · Occupancy · Roofline模型
RooflineOccupancy
第7章
矩阵乘法优化基础
Naive实现 · 循环顺序对缓存命中率影响 · 分块思想
GEMMTiling
第8章
矩阵乘法进阶优化
Tiling · Vectorization · Register重用提升计算密度
VectorizeRegister
第9章
卷积算子优化 (Im2Col)
卷积转矩阵乘法 · 内存开销与计算效率权衡
Im2Col卷积
第10章
卷积算子优化 (Winograd)
小卷积核快速算法 · 减少乘法次数 · 适用场景分析
Winograd快速算法
第11章
卷积算子优化 (FFT)
频域卷积 · 大卷积核场景优势与局限性
FFT频域
第12章
算子融合技术
Conv+BN+ReLU融合 · Conv+Bias+Activation融合 · 减少访存与Kernel Launch
融合Kernel
第13章
内存布局优化
NHWC vs NCHW · Tensor Core布局要求 · 数据排布影响
NHWCTensor Core
第14章
算子自动调优
TVM Ansor · Halide自动调度 · AutoTVM原理与实战
AutoTVMAnsor
第15章
编译器前端优化
计算图优化 · 常量折叠 · 死代码消除 · 算子替换
编译器图优化
第16章
编译器后端优化
指令选择 · 寄存器分配 · 指令调度 · 循环优化
后端指令调度
第17章
CUDA编程基础
Thread/Block/Grid层次 · 内存模型 · 同步机制
CUDA线程
第18章
CUDA算子优化实战
向量加法 · Reduce · Scan算子的CUDA实现与优化
ReduceScan
第19章
Tensor Core编程
WMMA API · mma.sync指令 · 混合精度训练 (FP16/BF16/INT8)
Tensor Core混合精度
第20章
稀疏算子优化
稀疏矩阵存储格式 (CSR/COO) · 稀疏卷积 · 结构化稀疏
稀疏CSR
第21章
量化算子优化
INT8量化 · 对称/非对称量化 · 量化感知训练 · 硬件加速
INT8量化
第22章
Attention算子优化
FlashAttention原理 · 分块策略 · Online Softmax · IO感知优化
AttentionFlash
第23章
LayerNorm与Softmax优化
数值稳定性 · 向量化实现 · Warp级归约
LayerNormSoftmax
第24章
GELU与SiLU激活函数优化
多项式近似 · 查表法 · 融合实现
GELUSiLU
第25章
Embedding算子优化
稀疏查询 · Cache优化 · 预取与批处理
Embedding稀疏
第26章
多卡通信算子优化
AllReduce · AllGather · ReduceScatter · Ring算法与Tree算法
AllReduceRing
第27章
算子性能调优方法论
Profiling-Driven优化 · 瓶颈树分析 · 迭代式调优流程
方法论调优
第28章
算子测试与验证
数值正确性验证 · 性能回归测试 · 自动化测试框架搭建
测试回归
第29章
端到端模型部署中的算子优化
ONNX导出 · TensorRT优化 · 动态形状处理
TensorRTONNX
第30章
总结与展望
算子优化未来趋势 · 光计算 · 存内计算 · 可重构架构 · 学习资源推荐
未来趋势