01
算子映射概述
什么是算子映射 · 在AI编译器中的位置 · 映射流程概览
基础概念
02
性能瓶颈初探
常见性能瓶颈类型：计算密集型、访存密集型、通信密集型
瓶颈分类
03
Profiling工具入门
Nsight Systems · PyTorch Profiler · TensorBoard 数据采集
工具性能
04
计算瓶颈分析
识别算子是否被计算单元限制 (CUDA Core / Tensor Core)
计算瓶颈
05
访存瓶颈分析
显存带宽限制 · 常见访存模式问题
访存带宽
06
通信瓶颈分析
多卡/多机通信开销：AllReduce、AllGather 等
通信分布式
07
算子融合策略
为什么融合能提速 · 常见融合模式 (Conv+BN+ReLU)
融合优化
08
手动算子融合
PyTorch JIT / 手动编写融合Kernel
手动Kernel
09
自动算子融合
TVM · XLA · TensorRT 自动融合机制
自动编译器
10
算子选择与替换
选择更高效算子 (FlashAttention 替换原生 Attention)
替换高效
11
内存布局优化
NHWC vs NCHW · 数据对齐 · Padding 影响
布局内存
12
算子并行策略
数据并行 · 模型并行 · 张量并行选择与影响
并行策略
13
算子调度与流水线
算子重排 · 流水线并行提高硬件利用率
调度流水线
14
算子量化与精度
FP16 · BF16 · INT8 量化性能影响及精度权衡
量化精度
15
算子编译优化
Triton · CUDA Graph · TorchDynamo 编译技术
编译优化
16
算子库选择
cuDNN · cuBLAS · MKL · oneDNN 适用场景与对比
库对比
17
显存管理
显存碎片 · 显存复用 · 显存预分配策略
显存管理
18
同步与异步
CUDA Stream · Event · 同步开销分析
同步异步
19
图优化
常量折叠 · 死代码消除 · 公共子表达式消除
图优化编译
20
形状推断
动态形状对算子映射的影响及优化方法
形状动态
21
控制流处理
循环 · 条件分支对映射的影响
控制流分支
22
自定义算子
编写高性能自定义算子 (CUDA / Triton)
自定义高性能
23
调试技巧
cuda-gdb · NVIDIA Nsight Compute 逐行调试
调试工具
24
性能建模
Roofline模型 · 计算与访存比分析
建模Roofline
25
自动化调优
AutoTVM · Ansor · AutoSchedule 工具使用
自动调优搜索
26
多目标优化
同时优化延迟、吞吐量、显存占用
多目标权衡
27
硬件特性利用
Tensor Core · Sparsity · Warp Shuffle
硬件特性
28
常见陷阱
Bank Conflict · Shared Memory溢出 · Warp Divergence
陷阱注意
29
案例分析
以Transformer模型为例，逐层分析算子映射与优化
案例Transformer
30
未来趋势
动态编译 · 异构计算 · 可微分编程对算子映射的影响
趋势前沿