01
NPU与AI芯片概述
从CPU到NPU的演进 · AI芯片分类 · NPU核心优势与典型架构
芯片基础
02
算子与计算图
算子定义 · 计算图概念 · 静态图vs动态图 · 映射起点
图核心
03
算子映射基础
映射定义与目标 · 硬件抽象 · 输入输出 · 简单示例
入门映射
04
数据流与存储层次
NPU存储层次 · 数据复用 · 数据搬运与DMA
存储性能
05
循环分块 (Tiling)
分块原因 · 空间/时间分块 · 参数计算 · 性能影响
优化循环
06
计算调度 (Scheduling)
指令发射 · 流水线并行 · 多核调度 · 同步依赖
调度并行
07
内存绑定 (Memory Binding)
数据布局 · 地址分配 · Bank冲突 · 共享内存
内存优化
08
算子融合 (Operator Fusion)
融合原理与收益 · Conv+BN/ReLU · 融合影响
融合加速
09
硬件约束与资源建模
PE阵列 · 带宽 · 片上存储 · 精度位宽
硬件建模
10
映射空间与搜索策略
映射空间定义 · 暴力/启发式搜索 · ML搜索 · 代价模型
搜索自动
11
TVM与Ansor
TVM映射框架 · AutoTVM搜索 · Ansor自动调度 · 实践
TVM编译器
12
Halide与自动调度
算法/调度分离 · 调度原语 · 自动调度器
Halide调度
13
MLIR与多级IR
Dialect机制 · TOSA/Linalg · Lowering · IR转换
MLIRIR
14
Triton与块编程
Triton编程模型 · 块级映射 · 编译器后端 · 对比TVM
Triton块
15
卷积算子的映射
卷积特征 · Im2Col+GEMM · Winograd · 直接卷积
卷积核心
16
矩阵乘算子的映射
GEMM策略 · 分块矩阵乘 · Systolic Array · 微内核
GEMM矩阵
17
归一化算子的映射
BatchNorm/LayerNorm · 映射挑战 · 融合优化
归一化优化
18
激活函数与池化映射
ReLU/Sigmoid/GELU · 池化数据复用 · 非线性近似
激活池化
19
Attention算子的映射
Attention计算 · QKV投影 · Softmax稳定性 · FlashAttention
AttentionTransformer
20
Embedding与Gather映射
查表操作 · Gather/Scatter · 稀疏算子处理
Embedding稀疏
21
动态形状与条件分支
动态形状挑战 · Padding/Masking · 条件分支映射
动态分支
22
量化算子的映射
INT8/INT4量化 · 硬件支持 · 量化/反量化 · 混合精度
量化精度
23
稀疏算子的映射
CSR/COO格式 · 稀疏卷积/Attention · 硬件加速
稀疏存储
24
多芯片与分布式映射
多NPU互联 · 数据/模型并行 · 流水线并行 · 通信算子
分布式并行
25
编译优化与代码生成
编译流程 · 代码生成 · JIT/AOT · 二进制优化
编译代码生成
26
性能分析与Profiling
性能计数器 · Profiling工具 · 瓶颈分析 · 迭代优化
性能分析
27
调试与验证
正确性验证 · 数值精度 · 仿真模拟 · 错误排查
调试验证
28
端到端模型部署
训练到部署 · ONNX/TensorRT · NPU驱动与Runtime
部署推理
29
前沿趋势与挑战
存算一体 · 光计算NPU · 可重构 · AI编译器未来
前沿趋势
30
综合案例实战
ResNet-50映射 · BERT优化 · 从零设计映射方案
实战综合