第1章
AI芯片与算子概述
AI芯片发展简史 · 主流架构(GPU/NPU/TPU) · 算子定义与分类
芯片基础算子概念
第2章
计算图与算子表示
计算图(DAG) · TF/PyTorch算子表示 · ONNX中间表示
计算图ONNX
第3章
算子映射基础
什么是算子映射 · 硬件异构性挑战 · 映射策略概览
映射策略
第4章
硬件抽象层(HAL)
HAL作用与设计 · OpenCL/CUDA/ROCm · 自定义HAL
HAL接口
第5章
单算子映射实战(一)
矩阵乘法(GEMM)映射GPU · 内存布局与Tile策略
GEMMTile
第6章
单算子映射实战(二)
卷积(Conv2D)映射NPU · Im2Col与Winograd
Conv2DWinograd
第7章
单算子映射实战(三)
激活函数(ReLU/Sigmoid) · 逐元素向量化
激活向量化
第8章
单算子映射实战(四)
池化(Pooling)与归一化(BatchNorm) · 访存优化
池化BN
第9章
算子融合原理
为什么融合(减少访存/启动开销) · 数学等价性
融合等价性
第10章
常见融合模式(一)
Conv+BN+ReLU融合 · 数学推导与实现
Conv+BN+ReLU
第11章
常见融合模式(二)
Add+ReLU融合 · ResNet中的Fuse Pattern
Add+ReLUResNet
第12章
常见融合模式(三)
GEMM+Add+Bias融合 · 全连接层优化
GEMM+Bias
第13章
常见融合模式(四)
LayerNorm+Activation融合 · Transformer实践
LayerNormTransformer
第14章
自动融合框架
TVM算子融合 · XLA HLO融合 · MLIR Dialect融合
TVMXLAMLIR
第15章
融合策略搜索
基于规则/动态规划/机器学习的搜索
搜索DPML
第16章
内存层次与数据复用
SRAM/DRAM层次 · 数据复用 · Tiling与Pipelining
内存复用
第17章
计算与访存平衡
Roofline模型 · 计算密度与访存带宽匹配
Roofline平衡
第18章
多核并行映射
数据并行 · 模型并行 · 流水线并行
并行流水线
第19章
张量核心(Tensor Core)映射
NVIDIA Tensor Core · Warp Level · MMA指令
Tensor CoreMMA
第20章
稀疏算子映射
CSR/CSC表示 · 稀疏卷积 · 结构化稀疏
稀疏CSR
第21章
量化算子映射
INT8/INT4量化 · QAT与推理部署
量化INT8
第22章
动态形状算子映射
动态Shape挑战 · 动态编译与JIT · Shape Inference
动态形状JIT
第23章
自定义算子开发
PyTorch注册自定义算子 · CUDA Extension · 测试验证
自定义CUDA
第24章
算子性能调优工具
Nsight Compute · Intel VTune · 自定义Profiler
调优Profiler
第25章
端侧AI芯片算子映射
ARM CPU/GPU · Qualcomm Hexagon · Apple Neural Engine
端侧DSP
第26章
算子映射中的数值精度
FP32/FP16/BF16/FP8 · 混合精度训练与推理
精度混合精度
第27章
编译器后端与代码生成
LLVM IR生成 · 指令选择与寄存器分配 · CodeGen
LLVMCodeGen
第28章
大规模模型算子优化
LLM Attention优化(FlashAttention) · MoE映射
FlashAttentionMoE
第29章
算子映射与融合的未来趋势
可重构计算 · 存算一体 · 光计算影响
未来存算一体
第30章
综合实战项目
PyTorch模型 → 自定义AI芯片 · 算子映射与融合全流程
实战全流程