01
NPU芯片概述
什么是NPU · NPU与CPU/GPU的区别 · NPU在AI推理中的核心优势
基础概念
02
推理引擎基础
TensorRT · ONNX Runtime · OpenVINO · 引擎选型策略
引擎选型
03
模型量化入门
FP32 vs FP16 vs INT8 · 量化原理 · 对称/非对称量化
量化精度
04
算子融合技术
Conv+BatchNorm融合 · 激活函数融合 · 内存访问优化
融合加速
05
内存管理与数据搬运
DDR带宽瓶颈 · DMA传输优化 · 数据复用策略
内存DMA
06
计算图优化
图优化策略 · 常量折叠 · 死代码消除 · 算子重排
图优化编译
07
多核并行计算
NPU多核架构 · 任务划分 · 负载均衡 · 同步开销
并行多核
08
流水线设计
推理流水线阶段划分 · 乒乓缓冲 · 延迟隐藏
流水线延迟
09
模型剪枝技术
结构化/非结构化剪枝 · 剪枝策略 · 稀疏矩阵加速
剪枝稀疏
10
知识蒸馏
教师-学生模型 · 蒸馏损失函数 · 软标签与硬标签
蒸馏压缩
11
编译器优化
TVM与MLIR · 自动调优 · 调度策略
编译器TVM
12
算子库优化
手写汇编算子 · SIMD指令集 · 向量化计算
算子SIMD
13
数据预处理加速
图像预处理硬件加速 · 归一化与数据增强
预处理硬件
14
Batch推理优化
动态Batch · 静态Batch · 吞吐量与延迟权衡
Batch吞吐
15
模型部署流程
ONNX导出 · 精度校准 · 引擎序列化与反序列化
部署ONNX
16
性能分析工具
Nsight · Perf · Chrome Trace · 瓶颈定位
Profiling工具
17
内存带宽优化
NHWC vs NCHW · tiling策略 · bank冲突避免
带宽布局
18
稀疏计算加速
CSR/CSC存储格式 · 稀疏卷积实现
稀疏存储
19
Winograd卷积加速
Winograd算法原理 · F(2x2,3x3)实现 · 性能对比
Winograd卷积
20
FFT卷积加速
FFT卷积原理 · 频域计算优势 · 适用场景
FFT频域
21
Transformer推理优化
Attention机制优化 · KV Cache · Flash Attention
TransformerAttention
22
大模型推理优化
模型并行 · 张量并行 · 流水线并行 · 推理服务化
大模型并行
23
低精度推理
INT4/INT2量化 · 混合精度推理 · 量化感知训练
低精度量化
24
动态形状推理
动态输入处理 · 内存池管理 · 算子选择策略
动态形状
25
异构计算
CPU+NPU协同 · 任务卸载 · 数据同步机制
异构协同
26
功耗优化
DVFS策略 · 计算与存储功耗平衡 · 低功耗模式
功耗DVFS
27
模型加密与保护
模型加密方案 · 安全推理 · TEE支持
安全加密
28
端侧部署优化
移动端NPU特点 · 模型压缩 · 实时性保障
端侧移动
29
云端部署优化
数据中心NPU · 集群调度 · 弹性伸缩
云端集群
30
综合案例实战
从模型到部署全流程优化 · 性能调优实战 · 最佳实践总结
实战综合