01
AI芯片与算子映射概述
AI芯片发展简史 · 算子映射核心问题 · 课程目标与学习路径
概述入门
02
计算基础与数据流
计算机体系结构回顾 · 数据流架构(SIMD/SIMT/MIMD) · AI计算核心模式
体系结构数据流
03
AI算子分类与特性
卷积(Conv) · 矩阵乘(GEMM) · 激活函数 · 归一化系列
算子分类
04
硬件抽象层 (HAL)
设计动机 · 统一算子接口 · 寄存器级与指令级抽象
HAL抽象
05
算子映射的数学本质
数学公式→计算图 · 数据依赖与并行性 · 计算强度与访存比
数学并行
06
计算图与调度
计算图构建优化 · 拓扑排序与流水线 · 算子融合策略
调度融合
07
内存层次与数据搬运
存储层次(L1/L2/DRAM) · 数据复用与tiling · DMA与双缓冲
内存搬运
08
卷积算子的映射策略
im2col · Winograd · 直接卷积硬件映射
卷积映射
09
矩阵乘算子的映射策略
分块矩阵乘 · Systolic Array · Tensor Core利用
GEMM脉动阵列
10
激活函数与归一化映射
非线性硬件实现 · 查找表与近似计算 · 归一化融合优化
激活归一化
11
池化与下采样算子映射
最大池化 · 平均池化 · 全局池化硬件友好实现
池化下采样
12
逐元素算子映射
Element-wise向量化 · 广播机制硬件支持 · 融合策略
逐元素向量化
13
循环神经网络 (RNN/LSTM) 算子映射
RNN计算模式 · LSTM门控结构 · 循环展开与并行化
RNNLSTM
14
注意力机制 (Attention) 算子映射
Self-Attention流程 · QKV矩阵乘映射 · Softmax硬件优化
AttentionTransformer
15
Transformer架构映射
Encoder/Decoder · LayerNorm与残差 · KV Cache优化
Transformer架构
16
数据布局与格式优化
NHWC vs NCHW · 张量内存布局 · 格式转换开销
布局优化
17
量化算子的映射
INT8/INT4量化 · 量化感知训练 · 硬件量化单元利用
量化INT8
18
稀疏算子的映射
结构化/非结构化稀疏 · 稀疏矩阵乘 · 硬件稀疏加速器
稀疏加速
19
动态形状与变长序列
动态形状挑战 · Padding与Masking · 动态调度
动态变长
20
编译器前端
算子识别与模式匹配 · IR设计 · 类型系统与形状推断
编译器前端
21
编译器后端
指令选择与寄存器分配 · 指令调度与VLIW · 代码生成
后端指令
22
自动调优 (Auto-tuning)
搜索空间定义 · 性能模型与成本函数 · 机器学习驱动调优
自动调优ML
23
多核与多芯片映射
数据并行 · 模型并行 · 流水线并行 · 混合并行
并行多芯片
24
内存墙与计算墙
Roofline模型 · 计算访存平衡 · 近存计算
内存墙Roofline
25
算子映射的性能分析工具
Profiling (nvprof/nsys) · 性能计数器 · 瓶颈分析
性能工具
26
典型AI芯片架构分析 (GPU)
NVIDIA Turing/Ampere/Hopper · Tensor Core & CUDA Core
GPUNVIDIA
27
典型AI芯片架构分析 (NPU)
Google TPU · 华为昇腾 · Graphcore IPU
NPUTPU
28
典型AI芯片架构分析 (FPGA)
FPGA算子映射 · HLS与RTL · 可重构计算
FPGA可重构
29
算子映射的Benchmark与评估
MLPerf/TensorBench · 延迟与吞吐量 · 能效比
Benchmark评估
30
未来趋势与挑战
存算一体 · 光计算 · 量子计算 · 课程总结与展望
前沿趋势