VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX Runtime端侧推理线程调度与延迟优化实战课

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 端侧推理的挑战与机遇

课程导入学习目标

ONNX Runtime基础

ONNX模型格式 · ORT架构概览 · 端侧推理流程

线程调度基础

操作系统线程模型 · 线程池原理 · CPU亲和性

线程调度基础操作系统线程模型

ORT线程池机制

ORT线程池架构 · 线程池配置参数 · 线程池创建与销毁

ORT线程池机制

端侧硬件特性

移动端CPU多核架构 · 大小核调度 · GPU/NPU协同

端侧硬件特性CPU

延迟指标与测量

端到端延迟 · 单次推理延迟 · p50/p95/p99延迟

延迟指标测量

性能分析工具

Perfetto · Android Studio Pro… · Xcode Instruments

性能分析工具Perfetto

线程数调优

线程数对延迟的影响 · 自动线程数选择 · 手动设置线程数

线程数调优线程数对延迟的影…

线程亲和性设置

设置CPU亲和性 · 绑定大核/小核 · 避免迁移开销

线程亲性设置

线程优先级调整

优先级概念 · 设置线程优先级 · 实时线程与普通线程

线程优先级调整优先级概念

ORT会话配置

SessionOptions详解 · 线程池配置选项 · 图优化级别

ORT会话配置

图优化与线程调度

图优化对线程负载的影响 · 算子融合 · 常量折叠

图优化线程调度

算子级线程调度

常见算子的并行策略 · Conv/GEMM线程分解 · 算子间线程竞争

算子级线程调度常见算子的并行策…

多实例并发

多会话并发 · 多模型并发 · 共享线程池

多实例并发多会话并发

异步推理与流水线

异步API使用 · 推理与预处理重叠 · 多阶段流水线设计

异步推理流水线

批处理与动态形状

动态形状对线程调度的影响 · 批处理策略 · 静态形状优化

批处理动态形状

内存分配与线程

内存池 · arena分配器 · 线程局部缓存

内存分配线程

电源与热管理

功耗限制 · 频率调节 · 热降频对线程调度的影响

电源热管理

实时性保障

硬实时与软实时 · RT线程调度 · 优先级继承

实时性保障硬实时

图像分类模型端侧延迟优化 · 线程配置实战 · 性能对比分析

案例实战图像分类模型端侧…

目标检测模型多线程调优 · NMS算子优化 · 端到端延迟压测

案例实战目标检测模型多线…

NLP模型（BERT）端侧推理 · Transformer算子线程调度 · KV cache优化

案例实战NLP

视频流处理场景 · 多帧并行 · 线程池复用

案例实战视频流处理场景

常见问题与排查

线程饥饿 · 死锁 · 资源竞争

常见问题排查

高级调优技巧

NUMA感知 · 超线程利用 · 动态线程池调整

高级调优技巧NUMA

跨平台适配

Android/iOS/Window… · ORT跨平台配置 · 平台特定优化

跨平台适配Android/iOS/…

性能基准测试

基准测试方法论 · 测试场景设计 · 结果分析

性能基准测试基准测试方法论

与推理引擎对比

ORT与其他引擎（TFLite · MNN · NCNN）线程调度对比

推理引擎对比ORT

综合实战项目

从模型到端侧部署全流程 · 线程调度与延迟优化综合方案 · 性能报告撰写

综合实战项目从模型到端侧部署…

课程总结与进阶

核心要点回顾 · 常见误区 · 学习资源

课程总结进阶