01
NPU基础认知
什么是NPU · NPU与CPU/GPU的区别 · 典型应用场景
概念入门
02
推理引擎入门
TensorRT · ONNX Runtime · OpenVINO · 引擎选型策略
引擎对比
03
模型量化基础
FP32 vs FP16 vs INT8 · 量化原理 · 对称/非对称量化
量化精度
04
模型剪枝技术
结构化剪枝 · 非结构化剪枝 · 策略与效果评估
剪枝压缩
05
算子融合优化
Conv+BN+ReLU融合 · 残差连接优化 · 性能提升
融合加速
06
内存带宽瓶颈
DDR带宽限制 · 数据搬运开销 · 内存复用策略
带宽内存
07
计算单元利用率
MAC利用率分析 · 计算访存重叠 · 流水线调度
利用率调度
08
数据预处理优化
图像预处理加速 · 归一化与数据增强硬件加速
预处理硬件
09
Batch推理优化
动态Batch与静态Batch · Batch Size对延迟影响
Batch吞吐
10
多线程与异步推理
线程池设计 · 异步提交与回调 · 任务队列管理
多线程异步
11
模型部署格式
ONNX · TensorRT Engine · OpenVINO IR · TFLite
部署格式
12
动态形状处理
动态输入尺寸 · Resize与Padding策略 · 性能权衡
动态形状
13
算子性能分析
Profiling工具 · 热点算子识别 · 手动优化算子
分析调优
14
缓存优化策略
Cache Line对齐 · 数据预取 · TLB Miss优化
缓存预取
15
NPU驱动与固件
驱动版本影响 · 固件升级 · 硬件抽象层调优
驱动固件
16
多模型并发推理
模型分时复用 · 内存隔离 · 优先级调度
并发多模型
17
模型蒸馏与压缩
知识蒸馏原理 · 蒸馏后推理加速 · 蒸馏+量化
蒸馏压缩
18
稀疏计算优化
稀疏矩阵存储 · 稀疏卷积 · 稀疏推理加速库
稀疏加速
19
Winograd卷积优化
Winograd算法原理 · F(2x2,3x3)实现 · 性能对比
Winograd卷积
20
FFT卷积加速
频域卷积原理 · FFT实现细节 · 适用场景分析
FFT频域
21
注意力机制优化
Flash Attention · KV Cache优化 · 稀疏注意力
注意力Transformer
22
Transformer推理优化
LayerNorm融合 · GELU近似 · 位置编码优化
Transformer融合
23
大模型推理挑战
显存墙 · 模型并行 · 流水线并行
大模型并行
24
KV Cache管理
Cache分配策略 · 内存碎片整理 · Cache共享
KV Cache显存
25
推测性解码
Speculative Decoding · 草稿模型 · 加速比分析
解码推测
26
连续批处理
Continuous Batching · 调度策略 · 吞吐量提升
批处理吞吐
27
硬件特性利用
NPU专用指令集 · 向量化计算 · SIMD优化
指令集SIMD
28
端侧推理优化
模型小型化 · 功耗控制 · 异构计算调度
端侧功耗
29
性能基准测试
Latency/Throughput · 测试方法论 · 结果分析
基准指标
30
端到端优化案例
全流程优化 · 实际项目复盘 · 优化效果量化
实战案例