VIP20
本课程属于：007-ONNX模型转换与算子兼容 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TinyML端侧部署入门：ONNX模型压缩与转换指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
TinyML的定义 · 端侧部署的挑战 · ONNX在模型转换中的角色
课程导入TinyML
02
环境搭建
Python环境 · ONNX · ONNX Runtime
环境搭建Python
03
ONNX基础
ONNX格式的由来 · 模型结构（计算图 · 节点
ONNX格式的由来
04
模型导出
从PyTorch导出ONNX（tor… · 从TensorFlow/Keras导… · 导出时的注意事项（动态轴
模型导出PyTorch
05
ONNX模型检查与调试
使用onnx.checker检查模型… · 使用onnxruntime推理验证输… · 常见导出错误及解决方法
ONNX模型检查
06
模型压缩概述
模型压缩的必要性 · 主要技术路线（剪枝 · 量化
模型压缩概述模型压缩的必要性
07
ONNX模型简化
使用onnxsim进行常量折叠 · 冗余节点消除 · 算子融合
ONNX模型简化
08
ONNX算子融合
常见融合模式（Conv+BN · Conv+ReLU · MatMul+Add）
ONNX算子融合
09
量化基础
量化的原理（定点与浮点 · 缩放因子与零点） · 量化类型（动态量化
量化基础量化的原理
10
ONNX动态量化
使用onnxruntime的dyna… · 量化后模型大小与推理速度对比 · 适用场景（CPU部署）
ONNX动态量化
11
ONNX静态量化
静态量化的流程（校准数据 · 计算缩放因子） · 使用onnxruntime.quan…
ONNX静态量化
12
量化感知训练（QAT）
QAT的原理与流程 · 在PyTorch中模拟量化训练 · 导出QAT后的ONNX模型
QAT量化感知训练
13
剪枝技术
结构化剪枝与非结构化剪枝 · 基于权重大小的剪枝 · 通道剪枝
剪枝技术结构化剪枝
14
知识蒸馏
蒸馏的基本思想（教师-学生模型） · 软标签与温度参数 · 在TinyML场景下的蒸馏实践
知识蒸馏蒸馏的基本思想
15
低秩分解
矩阵分解原理（SVD） · 全连接层和卷积层的低秩近似 · 在ONNX中实现低秩分解的步骤
低秩分解SVD
16
混合压缩策略
结合量化和剪枝 · 蒸馏与量化 · 不同压缩方法的组合顺序
混合压缩策略结合量化
17
ONNX模型转换到端侧框架
将ONNX转换为TensorFlow… · 转换为Core ML · 转换为NCNN/MNN等端侧推理框架…
ONNX模型转换到端侧框…
18
端侧推理引擎选择
TFLite · ONNX Runtime Mobil… · NCNN
端侧推理引擎选择TFLite
19
端侧部署实战（TFLite）
将压缩后的ONNX转换为TFLite… · 使用TFLite解释器在Androi… · 性能测试与优化
TFLite端侧部署实战
20
端侧部署实战（NCNN）
NCNN模型格式转换（onnx2nc… · NCNN的量化工具 · 在树莓派或手机上的部署流程
NCNN端侧部署实战
21
端侧部署实战（MNN）
MNN模型转换 · MNN的压缩与量化支持 · 在移动端或IoT设备上的集成与调用
MNN端侧部署实战
22
模型精度评估与调优
在端侧部署后如何评估模型精度（准确率 · F1等） · 对比压缩前后精度
模型精度评估调优
23
端侧性能优化
推理延迟优化（算子优化 · 多线程 · 缓存）
端侧性能优化推理延迟优化
24
常见问题与解决方案
ONNX导出失败 · 算子不支持 · 量化后精度骤降
常见问题解决方案
25
案例实战（图像分类）
以MobileNetV2为例 · 从PyTorch导出ONNX · 使用onnxsim简化
案例实战图像分类
26
案例实战（目标检测）
以YOLOv5或SSD为例 · 处理动态尺寸输入 · NMS算子兼容
案例实战目标检测
27
案例实战（语音唤醒）
以关键词识别模型为例 · 处理时序输入 · 使用QAT量化
案例实战语音唤醒
28
综合项目
设计一个完整的TinyML端侧部署流… · 从模型训练 · 压缩（量化+剪枝）
综合项目TinyML
29
前沿与扩展
自动化压缩工具（如Intel Neu… · Apache TVM） · 硬件感知的模型搜索
前沿扩展
30
课程总结与进阶路径
回顾核心知识点 · 常见误区 · 推荐学习资源（论文
课程总结进阶路径