VIP9
本课程属于：058-YOLO边缘部署、NPU与实时推理 AI智能与边缘计算工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

NPU推理加速与端侧优化详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
NPU基础与硬件架构
NPU发展史 · NPU与GPU/CPU的对比 · 主流NPU架构（如达芬奇
NPU硬件架构
02
端侧推理引擎概览
主流推理引擎（SNPE · TNN · MNN
端侧推理引擎概览SNPE
03
模型量化原理
对称量化 · 非对称量化 · 量化感知训练（QAT）
模型量化原理对称量化
04
量化精度调优
KL散度校准 · MSE最小化校准 · 每通道量化与每层量化
量化精度调优KL
05
模型剪枝技术
结构化剪枝与非结构化剪枝 · 基于L1/L2范数的剪枝 · 基于通道重要性的剪枝
模型剪枝技术结构化剪枝
06
知识蒸馏
软标签蒸馏 · 硬标签蒸馏 · 特征层蒸馏
知识蒸馏软标签蒸馏
07
算子融合与图优化
Conv+BN+ReLU融合 · Conv+Add+ReLU融合 · 常量折叠
算子融合图优化
08
内存优化技术
内存复用 · 张量共享 · 就地操作（In-place）
内存优化技术内存复用
09
计算图调度与并行
算子调度策略 · 多核并行 · 流水线并行
计算图调度并行
10
NPU驱动与运行时
NPU驱动架构 · 任务提交与同步 · 内存管理
NPU驱动
11
模型转换与适配
ONNX转NPU模型 · Caffe转NPU模型 · 自定义算子注册
模型转换适配
12
端侧部署流程
模型导出 · 模型加密 · 模型签名
端侧部署流程模型导出
13
性能Profiling工具
NPU Profiler使用 · 算子耗时分析 · 内存带宽分析
Profiling性能
14
功耗优化技术
DVFS调频 · 核心休眠策略 · 计算精度与功耗权衡
功耗优化技术DVFS
15
多模型并发推理
多模型调度策略 · 共享内存池 · 优先级管理
多模型并发推理多模型调度策略
16
端侧视觉模型优化
MobileNet系列 · ShuffleNet系列 · EfficientNet-Lite的…
端侧视觉模型优化MobileNet
17
端侧NLP模型优化
BERT-Tiny · ALBERT · TinyBERT的量化与部署
NLP端侧
18
端侧语音模型优化
RNN-T · Conformer · Streaming模型的流式推理与低…
端侧语音模型优化RNN-T
19
自定义算子开发
NPU自定义算子接口 · TBE算子开发 · 算子性能调优
自定义算子开发NPU
20
混合精度推理
FP16推理 · INT8推理 · INT4推理
混合精度推理FP16
21
稀疏化推理
权重稀疏化 · 激活稀疏化 · 稀疏矩阵乘法加速
稀疏化推理权重稀疏化
22
Winograd卷积加速
Winograd算法原理 · 在NPU上的实现 · F(2x2
Winograd卷积加速
23
模型加密与安全
模型加密算法 · 安全启动 · 防篡改机制
模型加密安全
24
端侧推理Benchmark
标准Benchmark数据集 · 性能指标定义 · 公平对比方法
Benchmark端侧推理
25
跨平台部署策略
Android/iOS/Linux/… · 动态库加载 · ABI兼容性
跨平台部署策略Android/iOS/…
26
端侧模型更新
增量更新 · 热更新 · 模型版本管理
端侧模型更新增量更新
27
调试与错误排查
NPU崩溃分析 · 精度异常排查 · 性能回退分析
调试错误排查
28
端侧AI应用案例
人脸识别 · 手势识别 · 实时翻译
AI端侧
29
前沿技术趋势
Transformer在端侧的部署 · 大模型端侧推理 · NPU+CPU异构计算
前沿技术趋势Transformer
30
综合实战项目
从模型训练到端侧部署的全流程实战 · 包含量化 · 剪枝
综合实战项目从模型训练到端侧…