01
NPU基础与架构概览
NPU定义、发展历程、CPU/GPU对比，达芬奇/TPU等主流架构
入门架构
02
推理性能核心指标
吞吐量、延迟、算力利用率、TOPS/W 定义与测量
指标测量
03
模型量化原理
FP32/FP16/INT8/INT4，对称/非对称量化，QAT与PTQ
量化压缩
04
算子性能优化
Conv/MatMul/ReLU在NPU上的实现与优化策略
算子优化
05
内存带宽与数据搬运
DDR/SRAM缓存层级，数据复用，DMA优化，避免带宽瓶颈
内存带宽
06
计算单元与并行度
MAC阵列、SIMD、向量处理器、张量核心与并行效率
并行计算
07
模型编译与图优化
算子融合、常量折叠、死代码消除、内存规划与调度
编译图优化
08
推理引擎与运行时
TensorRT/ONNX Runtime/TFLite/OpenVINO NPU适配对比
引擎运行时
09
Profiling与性能分析工具
NPU Profiler、Perfetto、厂商SDK，定位性能瓶颈
工具调优
10
Batch Size与动态形状
Batch对吞吐/延迟影响，动态形状处理策略
动态Batch
11
多模型并发与流水线
多模型并行推理、流水线设计、资源隔离与调度
并发流水线
12
异构计算与协同
CPU+NPU+GPU异构架构，任务分配与数据共享
异构协同
13
模型剪枝与稀疏化
结构化/非结构化剪枝，稀疏矩阵在NPU上的加速
剪枝稀疏
14
知识蒸馏与模型压缩
蒸馏原理，联合量化剪枝压缩，NPU部署实践
蒸馏压缩
15
注意力机制优化
FlashAttention、稀疏注意力，Transformer在NPU实现
注意力Transformer
16
大语言模型(LLM)推理优化
KV Cache、Continuous Batching、PageAttention、投机解码
LLM推理
17
视觉模型(CNN/ViT)推理优化
图像预处理加速、特征图复用、Winograd算法应用
视觉CNN
18
端侧NPU部署实践
手机/嵌入式设备，功耗性能平衡，模型分片离线编译
端侧部署
19
云端NPU部署实践
Ascend/寒武纪集群，负载均衡与弹性伸缩
云端集群
20
算子融合与Kernel优化
手动编写NPU Kernel (TIK/TVM)，Conv+BN+ReLU融合
Kernel融合
21
数据预处理与后处理加速
JPEG解码、归一化、NMS在NPU上的加速
预处理NMS
22
精度调优与数值稳定性
量化误差分析、混合精度推理、校准数据集选择
精度调优
23
性能基准测试与对比
MLPerf/AI Benchmark搭建，跨平台性能对比
基准测试
24
NPU驱动与固件优化
驱动调度、中断处理、任务队列，降低驱动开销
驱动固件
25
虚拟化与多租户
SR-IOV、MIG虚拟化，多租户性能隔离与QoS
虚拟化多租户
26
模型安全与对抗攻击
模型窃取、对抗样本影响，安全防护措施
安全对抗
27
未来趋势与前沿技术
存算一体、光计算、类脑计算、3D堆叠对NPU影响
前沿趋势
28
案例实战：ResNet-50
图像分类模型在NPU上的全流程优化
实战ResNet
29
案例实战：YOLOv8
目标检测模型在NPU上的部署与调优
实战YOLO
30
案例实战：LLaMA-7B
大语言模型在NPU上的推理加速与部署
实战LLaMA