第1章
NPU概述
什么是NPU · NPU与CPU/GPU的区别 · 发展历程与典型产品
基础概念
第2章
NPU硬件架构基础
计算单元(MAC阵列) · 控制单元 · 存储层次(SRAM/DRAM)
硬件存储
第3章
数据流与脉动阵列
脉动阵列原理 · 权重固定流 · 输入固定流 · 输出固定流
脉动数据流
第4章
片上存储与带宽设计
Local Memory · Global Memory · DMA与数据搬运
存储DMA
第5章
指令集与微码
VLIW与SIMD · 计算/搬运/控制指令分类
指令微架构
第6章
算子映射概念
什么是算子映射 · 映射挑战(数据复用/带宽瓶颈)
映射关键
第7章
卷积算子映射(上)
im2col算法 · 直接卷积映射 · Winograd算法
卷积加速
第8章
卷积算子映射(下)
分组卷积 · 深度可分离卷积 · 转置卷积映射策略
分组深度可分离
第9章
全连接与矩阵乘映射
矩阵分块 · Tiling策略 · Bank Conflict避免
矩阵乘优化
第10章
池化与激活算子映射
MaxPooling · AveragePooling · ReLU/Sigmoid硬件实现
池化激活
第11章
归一化算子映射
BatchNorm · LayerNorm · InstanceNorm映射与融合
归一化融合
第12章
逐元素算子映射
Add · Mul · Concat · Split 映射与广播机制
逐元素广播
第13章
循环神经网络算子映射
LSTM · GRU映射 · 时间步展开与并行化
RNNLSTM
第14章
Transformer算子映射(上)
Self-Attention · Multi-Head Attention映射
AttentionTransformer
第15章
Transformer算子映射(下)
FFN · LayerNorm · Softmax映射与优化
FFNSoftmax
第16章
算子融合策略
算子融合原理 · Conv+BN+ReLU融合 · QKV融合
融合优化
第17章
量化算子映射
INT8量化 · 对称/非对称量化 · 量化卷积与反量化
量化INT8
第18章
稀疏算子映射
剪枝与稀疏矩阵 · 稀疏卷积 · 稀疏注意力
稀疏剪枝
第19章
动态形状算子映射
动态Batch · 动态分辨率 · Padding策略
动态形状
第20章
编译器前端与IR
TVM/MLIR/Triton IR设计 · 算子注册与Lowering
编译器IR
第21章
编译器后端与代码生成
Schedule · Tile Size选择 · Auto-tuning
后端调优
第22章
内存规划与分配
Liveness分析 · 内存复用 · Double Buffer技术
内存Double Buffer
第23章
性能分析与Profiling
Roofline Model · 算子耗时分析 · 带宽利用率
性能Profiling
第24章
典型NPU架构分析(上)
华为昇腾DaVinci · Cube Unit与Vector Unit
昇腾DaVinci
第25章
典型NPU架构分析(下)
NVIDIA GPU(Tensor Core) · Google TPU(脉动阵列)
GPUTPU
第26章
多核NPU与数据并行
模型并行 · 数据并行 · Pipeline并行在NPU实现
并行多核
第27章
NPU虚拟化与多任务调度
硬件虚拟化 · 时间片调度 · 优先级管理
虚拟化调度
第28章
NPU驱动与Runtime
KMD与UMD · 任务提交与同步 · 内存管理
驱动Runtime
第29章
NPU调试与验证
仿真器 · RTL仿真 · FPGA原型验证 · 性能仿真
验证调试
第30章
未来趋势与挑战
存算一体 · 光计算 · 3D堆叠 · Chiplet与NPU融合
前沿趋势