VIP20
本课程属于：049-AI　ISP混合架构开发 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

嵌入式NPU端侧推理优化实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
NPU基础认知
什么是NPU？NPU与CPU/GPU… · NPU的典型架构（脉动阵列 · 数据流）
NPU基础认知
02
端侧推理芯片选型
主流端侧NPU芯片对比（高通Hexa… · 联发科APU · 华为达芬奇
端侧推理芯片选型NPU
03
推理框架概览
端侧推理引擎对比（TFLite · ONNX Runtime · NCNN
推理框架概览TFLite
04
模型转换与量化基础
模型格式转换（PyTorch->ON… · 量化原理（FP32->INT8） · 对称/非对称量化
模型转换量化基础
05
量化实战（上）
后训练量化（PTQ）实操 · 使用TFLite Converter… · 校准数据集准备
量化实战PTQ
06
量化实战（下）
量化感知训练（QAT）实操 · 模拟量化节点插入 · 微调策略
量化实战QAT
07
模型剪枝
结构化剪枝与非结构化剪枝 · 通道剪枝实现（基于BN层gamma值… · 剪枝后微调
模型剪枝结构化剪枝
08
知识蒸馏
教师-学生网络架构 · 软标签与温度系数 · 蒸馏损失函数设计
知识蒸馏教师
09
算子融合与图优化
Conv+BN+ReLU融合 · 常量折叠 · 死节点消除
算子融合图优化
10
内存优化
内存复用策略 · 张量生命周期分析 · In-Place操作
内存优化内存复用策略
11
计算图调度
拓扑排序与并行调度 · 异构计算（CPU+NPU+GPU）任… · 流水线并行
计算图调度拓扑排序
12
NPU驱动与运行时
NPU Kernel Launch流… · 驱动API调用（OpenCL/Ope… · 同步与异步执行
NPU驱动
13
数据预处理加速
图像预处理（Resize/Norma… · NEON指令优化 · DMA搬运
数据预处理加速Resize/Norma
14
模型部署流水线
从训练到端侧部署的完整流程 · 模型签名与版本管理 · OTA更新策略
模型部署流水线从训练到端侧部署…
15
性能Profiling工具
端侧Profiling工具链（Per… · TFLite Benchmark · 自定义计时）
Profiling性能
16
精度调试
端侧推理结果与GPU/CPU结果对比 · 数值误差分析 · 逐层输出比对
精度调试GPU/CPU
17
多线程与异步推理
线程池设计 · 异步推理队列 · 生产者-消费者模式
多线程异步推理
18
Batch推理优化
动态Batch与静态Batch · Batch合并策略 · 吞吐量与延迟的权衡
Batch推理优化
19
稀疏化推理
权重稀疏化 · 稀疏矩阵乘法在NPU上的实现 · 结构化稀疏与硬件加速
稀疏化推理权重稀疏化
20
低比特量化
INT4/INT2量化 · 混合精度量化（部分层FP16 · 部分层INT8）
低比特量化INT4/INT2
21
Winograd卷积加速
Winograd算法原理 · F(2 · 与F(4
Winograd卷积加速
22
Transformer模型优化
Attention机制优化 · KV Cache管理 · Softmax近似计算
Transformer模型优化
23
视觉模型优化（CNN）
MobileNet/ShuffleN… · 深度可分离卷积优化
CNN视觉模型优化
24
语音模型优化
RNN/LSTM/GRU在NPU上的… · 双向RNN的时序处理 · 流式推理实现
语音模型优化RNN/LSTM/GRU
25
多模型串联
Pipeline设计 · 模型间数据传递 · 中间结果缓存
多模型串联Pipeline
26
功耗优化
DVFS调频策略 · NPU idle状态管理 · 推理任务调度与功耗权衡
功耗优化DVFS
27
安全与加密
模型加密（AES/RSA） · TEE安全推理 · 模型防篡改
安全加密
28
端侧推理Benchmark
标准化测试流程 · 性能指标（FPS · 延迟
Benchmark端侧推理
29
实战案例1
图像分类模型（ResNet-50）在…
实战案例1ResNet-50
30
实战案例2
实时目标检测模型（YOLOv5s）在…
实战案例2YOLOv5s