VIP20
本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型端侧推理优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 端侧推理优化的重要性与挑战
课程导入学习目标
02
ONNX基础
ONNX格式概述 · 模型结构 · 张量与算子
ONNX格式概述
03
端侧推理基础
端侧设备类型 · 推理引擎选择（如ONNX Runti… · TensorFlow Lite）
端侧推理基础端侧设备类型
04
模型转换与验证
将PyTorch/TensorFlo… · 算子兼容性检查 · 精度验证
模型转换验证
05
模型简化与压缩
模型剪枝 · 量化（INT8/FP16） · 知识蒸馏在ONNX中的应用
模型简化压缩
06
量化技术详解
量化原理 · 动态量化与静态量化 · 量化感知训练
量化技术详解量化原理
07
图优化与算子融合
ONNX Runtime的图优化 · 算子融合策略 · 内存布局优化
图优化算子融合
08
内存优化
内存分配策略 · 张量复用 · 内存池
内存优化内存分配策略
09
推理引擎配置
ONNX Runtime的线程设置 · 执行模式 · 图形优化选项
推理引擎配置ONNX
10
硬件加速
利用NPU · GPU · DSP等硬件加速器
硬件加速NPU
11
端侧部署环境
Android/iOS/嵌入式Lin… · 交叉编译 · 依赖库集成
端侧部署环境Android/iOS
12
模型加密与安全
模型加密 · 防篡改 · 安全推理
模型加密安全
13
性能分析工具
使用ONNX Runtime pro… · Perfetto · Android Studio Pro…
性能分析工具ONNX
14
案例实战
图像分类模型（如ResNet）的端侧…
案例实战ResNet
15
案例实战
目标检测模型（如YOLO）的端侧优化…
案例实战YOLO
16
案例实战
自然语言处理模型（如BERT）的端侧…
案例实战BERT
17
常见问题与解决方案
精度下降 · 推理延迟高 · 内存溢出
常见问题解决方案
18
多线程与异步推理
并发推理 · 异步流水线 · 提高吞吐量
多线程异步推理
19
模型动态形状处理
动态输入尺寸 · 动态batch · 形状推理优化
模型动态形状处理动态输入尺寸
20
模型版本管理与热更新
模型版本控制 · 热更新机制 · A/B测试
模型版本管理热更新
21
端侧推理框架对比
ONNX Runtime vs Te…
端侧推理框架对比ONNX
22
自定义算子开发
编写自定义算子 · 注册到ONNX Runtime · 性能优化
自定义算子开发编写自定义算子
23
模型鲁棒性与泛化
对抗攻击防御 · 噪声鲁棒性 · 边缘场景适配
模型鲁棒性泛化
24
功耗优化
降低CPU/GPU频率 · 批处理 · 模型轻量化对功耗的影响
功耗优化CPU/GPU
25
模型蒸馏与轻量化
知识蒸馏 · 神经架构搜索（NAS） · 轻量模型设计
模型蒸馏轻量化
26
端侧推理的端到端流程
从训练到部署的完整流程 · CI/CD集成
端侧推理的端到端…从训练到部署的完…
27
综合实战
构建一个端侧推理应用（如实时视频分析… · 涵盖优化全流程
综合实战构建一个端侧推理…
28
前沿趋势
Transformer在端侧的发展 · 联邦学习与端侧推理 · 自动化优化工具
前沿趋势Transformer
29
课程总结
核心要点回顾 · 优化方法论总结 · 学习路径建议
课程总结核心要点回顾
30
结业项目
设计并实现一个端侧推理优化方案 · 提交报告与演示
结业项目设计并实现一个端…