VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX Runtime端侧推理延迟预算评估与优化教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与端侧推理延迟预算的核心…

课程导入学习目标

端侧推理基础

移动端/嵌入式设备硬件特性 · 操作系统调度 · 内存带宽与计算单元对推理延迟的影响

端侧推理基础移动端

ONNX Runtime概览

ONNX Runtime架构 · 执行模式（CPU/GPU/NPU） · 端侧版本（Mobile/Androi…

延迟预算定义

延迟预算的构成（预处理 · 推理 · 后处理）

延迟预算定义延迟预算的构成

延迟测量方法

使用ONNX Runtime内置计时 · 系统级计时（clock_gettim… · 性能分析工具（Perfetto

延迟测量方法ONNX

基准测试设计

设计可重复的延迟基准测试 · 控制变量（温度 · 频率

基准测试设计设计可重复的延迟…

模型转换与优化

从PyTorch/TensorFlo… · 使用onnx-simplifier · 量化（INT8/FP16）与动态维度…

模型转换优化

ONNX Runtime配置优化

线程数设置 · 执行模式（顺序/并行） · 图优化级别（ORT_ENABLE_A…

算子融合与图优化

理解ONNX Runtime的图优化… · 常量折叠 · 冗余消除）及如何通过GraphOpt…

算子融合图优化

量化技术实战

静态量化 · 动态量化 · 量化感知训练（QAT）在端侧延迟优化…

量化技术实战静态量化

减少峰值内存 · 内存复用 · 使用内存池

内存优化减少峰值内存

多线程与并行

线程池配置 · 算子内并行（ intra-op）与算…

多线程并行

利用ONNX Runtime的EP（… · NNAPI · TensorRT

延迟预算评估流程

从需求分析 · 模型分析 · 基准测试

延迟预算评估流程从需求分析

瓶颈定位方法

使用profiling工具（ONNX… · Perfetto）识别耗时算子 · 内存瓶颈与调度延迟

瓶颈定位方法profiling

算子级优化

针对常见耗时算子（Conv · MatMul · Softmax）的优化技巧

算子级优化Conv

模型结构优化

轻量化模型设计（MobileNet · EfficientNet） · 剪枝

模型结构优化MobileNet

动态形状处理

动态输入尺寸对延迟的影响 · 固定形状优化 · 动态维度设置与性能权衡

动态形状处理动态输入尺寸对延…

多模型协同

多模型串行/并行推理的延迟预算分配 · 模型间通信开销与整体延迟优化

多模型协同多模型串行

实时性保障

实时操作系统（RTOS）下的延迟抖动… · 优先级设置 · 锁与中断对延迟的影响

实时性保障RTOS

延迟与功耗权衡

降低延迟与功耗的平衡 · 动态电压频率调整（DVFS） · 功耗测量与优化策略

延迟功耗权衡

端侧部署实战

Android/iOS集成ONNX… · 模型打包 · 资源管理

端侧部署实战Android/iOS

图像分类模型（ResNet50）在手…

案例实战ResNet50

目标检测模型（YOLOv5）端侧延迟… · 包括NMS后处理延迟的优化

案例实战YOLOv5

自然语言处理模型（BERT）在端侧的…

案例实战BERT

常见问题与解决

模型加载慢 · 首次推理延迟高 · 线程竞争

常见问题解决

延迟预算自动化评估

编写脚本自动化测试不同配置下的延迟 · 生成报告 · 持续集成（CI）中的延迟回归检测

延迟预算自动化评…编写脚本自动化测…

高级优化技术

使用ONNX Runtime的自定义… · 图编辑 · 模型分片

高级优化技术ONNX

从零开始为一个端侧AI应用制定延迟预… · 优化并达到目标 · 涵盖完整文档与交付

课程总结与展望

回顾核心知识点 · 常见误区 · 未来趋势（如端侧Transforme…

课程总结回顾核心知识点