VIP20

本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX Runtime模型并行推理与批处理优化教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与前置知识要求

课程导入学习目标

ONNX Runtime基础

ONNX格式简介 · ONNX Runtime架构 · 推理会话（InferenceSess…

模型转换与加载

从PyTorch/TensorFlo… · 动态轴设置 · 模型验证与常见导出错误排查

模型转换加载

推理性能评估

延迟 · 吞吐量 · 批处理大小等关键指标定义

推理性能评估延迟

批处理推理基础

静态批处理与动态批处理的概念 · 批处理维度处理 · 输入数据组织与预处理

批处理推理基础静态批处理

ONNX Runtime批处理优化

使用I/O Binding · 预分配输出缓冲区 · 减少内存拷贝的批处理优化技巧

并行推理基础

多线程 · 多进程 · 异步推理的概念

并行推理基础多线程

ONNX Runtime并行执行模式

顺序执行 · 并行执行（Parallel Exec…

模型并行推理策略

数据并行 · 模型并行 · 流水线并行的区别

模型并行推理策略数据并行

多会话并行推理

创建多个InferenceSessi… · 线程安全与资源管理

多会话并行推理InferenceSes…

GPU并行推理

CUDA执行提供程序（Executi… · 多GPU并行 · TensorRT集成与优化

GPU并行推理

CPU并行推理

OpenMP · MKL-DNN等底层优化 · CPU线程数调优与超线程影响

CPU并行推理

批处理与并行结合

动态批处理与多线程/多进程结合 · 实现高吞吐推理的架构设计

批处理并行结合

异步推理与流水线

使用异步队列 · Future模式实现推理流水线 · 重叠预处理

异步推理流水线

内存池 · 内存复用 · 减少峰值内存

内存优化内存池

性能分析工具

使用ONNX Runtime Pro… · NVIDIA Nsight · Perf等工具定位性能瓶颈

性能分析工具ONNX

常见性能陷阱

线程竞争 · 锁开销 · 数据拷贝

常见性能陷阱线程竞争

图像分类模型（ResNet）的批处理… · 从单线程到多线程的完整调优流程

案例实战ResNet

目标检测模型（YOLO）的批处理与并… · 动态形状处理与后处理并行化

案例实战YOLO

NLP模型（BERT）的批处理与并行… · 变长序列填充与注意力掩码优化

案例实战NLP

多模型服务场景 · 多个模型并行推理与资源隔离 · 实现多租户推理服务

案例实战多模型服务场景

与推理服务框架集成

将ONNX Runtime集成到Fa… · Triton Inference S… · 实现自动批处理与并发

推理服务框架集成ONNX

量化与并行推理

INT8/FP16量化对批处理与并行… · 量化模型与并行执行结合

量化并行推理

动态形状与批处理

动态轴 · 动态批处理大小对并行推理的影响 · 使用Shape优化和内存规划

动态形状批处理

分布式推理

多机多卡场景下的模型并行与数据并行 · 使用NCCL · gRPC等通信

分布式推理多机多卡场景下的…

性能调优方法论

建立性能基线 · 逐步优化 · A/B测试

性能调优方法论建立性能基线

常见问题与解决方案

线程崩溃 · 内存泄漏 · CUDA错误

常见问题解决方案

图优化 · 算子融合 · 自定义算子与并行推理的交互

高级主题图优化

构建一个高吞吐 · 低延迟的ONNX Runtime推理… · 涵盖批处理

综合实战构建一个高吞吐

课程总结与进阶方向

核心要点回顾 · 学习资源推荐 · 未来趋势（如ONNX Runtime…

课程总结进阶方向