第1章
NPU与算子映射概述
什么是NPU · AI芯片简史 · 算子映射定义与重要性 · 全流程概览
概念入门
第2章
深度学习基础回顾
神经网络基本概念 · 常见算子类型 · 计算图与数据流
基础算子
第3章
主流AI框架介绍
TensorFlow · PyTorch · MindSpore 模型表示与IR
框架IR
第4章
ONNX中间表示
ONNX背景 · 算子集 · 模型结构 · PyTorch/TF导出
ONNX导出
第5章
模型解析与加载
解析ONNX结构 · 节点与边 · 构建Graph IR
解析Graph IR
第6章
算子识别与匹配
ONNX算子→NPU算子库 · 属性提取校验 · 支持列表
映射校验
第7章
算子融合技术
为什么融合 · Conv+BN+ReLU · 融合规则与实现
融合优化
第8章
内存布局与数据排布
NHWC vs NCHW · NPU数据排布 · Transpose策略
内存排布
第9章
量化基础
为什么量化 · 对称/非对称 · scale/zero_point
量化基础
第10章
QAT与后训练量化PTQ
QAT原理 · PTQ流程 · NPU量化部署实践
量化部署
第11章
算子调度与执行顺序
拓扑排序 · 依赖分析 · 并行调度 · 流水线
调度执行
第12章
NPU指令集与微架构
MAC阵列 · 向量/标量单元 · 指令发射与执行
架构指令
第13章
算子Kernel开发入门
Tiling策略 · DMA搬运 · 计算访存重叠
Kernel优化
第14章
卷积算子映射详解
im2col · Winograd · 直接卷积NPU实现与优化
卷积映射
第15章
池化与激活算子映射
MaxPool · AveragePool · ReLU · Sigmoid NPU实现
池化激活
第16章
全连接与矩阵乘算子映射
Gemm拆分 · 矩阵分块 · Bank Conflict避免
矩阵乘优化
第17章
LayerNorm与BatchNorm映射
归一化NPU实现 · 融合策略
归一化融合
第18章
Attention机制算子映射
Self-Attention · Multi-Head Attention NPU映射与优化
AttentionTransformer
第19章
Softmax与损失函数映射
数值稳定性 · 分段查找表LUT实现
Softmax损失
第20章
动态Shape处理
动态Shape挑战 · 映射策略 · 内存动态分配
动态Shape
第21章
算子性能Profiling
Profiling工具 · 瓶颈分析 · FLOPs与带宽利用率
性能分析
第22章
算子精度调试
精度比对工具 · 逐层分析 · 精度损失定位修复
精度调试
第23章
算子单元测试与集成测试
测试用例设计 · Golden Data · 自动化测试框架
测试自动化
第24章
图优化与子图分割
常量折叠 · 死代码消除 · 子图分割 · 跨NPU通信
图优化分割
第25章
多NPU并行与通信
模型并行 · 数据并行 · Pipeline并行 · AllReduce
并行通信
第26章
模型编译与二进制生成
Graph IR → NPU可执行文件 · 链接与加载
编译二进制
第27章
Runtime推理引擎设计
模型加载 · 内存管理 · 算子动态加载 · 推理流水线
Runtime推理
第28章
端到端部署案例(图像分类)
ResNet50 PyTorch→NPU 全流程映射与部署
案例图像
第29章
端到端部署案例(NLP)
BERT ONNX→NPU 映射与优化
案例NLP
第30章
前沿趋势与挑战
稀疏计算 · 混合精度 · 存算一体 · 未来演进
前沿趋势