01
NPU与AI芯片概述
NPU架构演进、主流NPU产品对比、NPU在AI推理中的核心地位。
芯片推理
02
算子映射基础
什么是算子、算子映射的定义与目标、算子映射的挑战（硬件差异、精度损失）。
映射精度
03
算子映射全流程
模型解析 → 图优化 → 算子拆分 → 硬件匹配 → 代码生成。
流程编译
04
显存管理基础
显存层级结构（HBM、SRAM、寄存器）、显存带宽与延迟、显存分配策略。
HBMSRAM
05
显存优化核心指标
显存占用、带宽利用率、计算访存比（OP/BYTE）、访存局部性。
指标访存
06
算子融合技术
Conv+BatchNorm融合、激活函数融合、Element-wise算子融合。
融合加速
07
算子拆分与调度
大算子拆分策略、Tile划分、流水线调度（Pipeline）。
拆分流水线
08
显存复用与重计算
In-place操作、Tensor复用、Checkpointing重计算技术。
复用重计算
09
量化与压缩
INT8/INT4量化、权值共享、剪枝对显存的影响。
量化压缩
10
内存池与预分配
固定内存池、动态内存池、显存碎片整理。
内存池碎片
11
算子映射中的显存分析
静态分析 vs 动态分析、显存生命周期管理。
分析生命周期
12
计算图优化
常量折叠、死代码消除、公共子表达式消除。
图优化编译
13
算子选择与硬件亲和
算子库选择（cuDNN vs 手写）、硬件特性适配（Tensor Core、Vector Unit）。
硬件Tensor Core
14
显存带宽优化
数据布局优化（NHWC vs NCHW）、数据对齐、DMA传输优化。
带宽DMA
15
算子映射工具链
TVM、Triton、MLIR、ONNX Runtime。
TVMMLIR
16
显存优化案例分析
ResNet-50映射优化、Transformer显存优化。
案例ResNet
17
动态形状处理
动态batch、动态序列长度、显存预留策略。
动态batch
18
多卡并行显存优化
数据并行、模型并行、流水线并行、张量并行。
并行多卡
19
算子映射中的精度控制
FP16/BF16混合精度、Loss Scaling、精度回退机制。
混合精度FP16
20
显存Profiling工具
Nsight Systems、PyTorch Profiler、自定义Hook。
ProfilingNsight
21
算子映射自动化
Auto-tuning、遗传算法搜索、贝叶斯优化。
自动搜索调优
22
显存优化与功耗权衡
显存访问功耗模型、低功耗映射策略。
功耗低功耗
23
算子映射中的同步与异步
同步执行模型、异步执行模型、Event同步。
同步异步
24
显存优化与算子映射的联合调试
常见问题定位、性能瓶颈分析。
调试瓶颈
25
算子映射在边缘设备上的优化
移动端NPU、低功耗约束、显存限制。
边缘移动端
26
算子映射在云端NPU上的优化
高吞吐、多实例、虚拟化显存。
云端虚拟化
27
算子映射中的稀疏性利用
稀疏矩阵乘法、结构化稀疏、非结构化稀疏。
稀疏结构化
28
算子映射与编译器优化
IR设计、Pass Pipeline、Code Generation。
编译器IR
29
算子映射的测试与验证
正确性验证、性能回归测试、稳定性测试。
测试验证
30
算子映射与显存优化未来趋势
存算一体、近存计算、可重构NPU。
未来存算一体