VIP20
本课程属于：048-AI　ISP混合架构相机系统图像处理实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

端侧推理引擎在相机中的适配

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
端侧推理引擎概述
什么是端侧推理引擎 · 为什么需要端侧推理 · 主流端侧推理引擎对比（ONNX Ru…
端侧推理引擎概述什么是端侧推理引…
02
相机流水线基础
相机成像原理 · ISP流水线（RAW域 · RGB域
相机流水线基础相机成像原理
03
ONNX Runtime Mobile 核心概念
ONNX Runtime 架构 · Mobile版本与标准版的区别 · Session与Execution…
ONNXRuntime
04
环境搭建与交叉编译
Android NDK环境配置 · iOS Xcode工具链 · ONNX Runtime Mobil…
环境搭建交叉编译
05
相机预览数据获取
使用Camera2 API获取YUV… · 使用AVFoundation获取CM… · 帧率控制与背压处理
相机预览数据获取Camera2
06
图像预处理与张量转换
YUV转RGB/BGR · 图像缩放与裁剪（OpenCV vs… · HWC转CHW
图像预处理张量转换
07
模型加载与Session管理
创建OrtSessionOption… · 配置Execution Provid… · XNNPACK
Session模型加载
08
同步推理与异步推理
Run()方法详解 · 异步推理模式（Future/Prom… · 推理耗时统计
同步推理异步推理
09
GPU加速适配
OpenCL与Vulkan后端 · Metal Performance… · GPU内存管理
GPU加速适配
10
NPU/DSP加速适配
Qualcomm SNPE/QNN适… · MediaTek NeuroPilo… · Apple Neural Engin…
NPU/DSP加速适配
11
内存优化与零拷贝
Tensor内存复用 · IOBuffer共享 · Direct ByteBuffer使…
内存优化零拷贝
12
模型量化与精度权衡
FP32 · FP16 · INT8量化
模型量化精度权衡
13
多模型串联与Pipeline
多Session管理 · 模型间数据传递 · Pipeline调度策略
Pipeline多模型串联
14
动态输入尺寸处理
可变分辨率支持 · Padding与Letterbox · 动态Shape配置
动态输入尺寸处理可变分辨率支持
15
模型热更新与版本管理
模型文件加密与校验 · 热更新方案设计 · 版本回滚机制
模型热更新版本管理
16
性能Profiling与调优
使用Perfetto/Instrum… · 算子耗时统计 · 内存泄漏检测
Profiling性能
17
常见算子兼容性问题
Resize · Transpose · Gather等算子适配
常见算子兼容性问…Resize
18
多线程与并发控制
线程池设计 · 任务队列管理 · 锁优化
多线程并发控制
19
相机与推理引擎的同步机制
帧同步与帧丢弃策略 · 时间戳对齐 · VSync与推理节奏
相机推理引擎的同步机…
20
低功耗模式设计
动态频率调整 · 推理精度与功耗权衡 · 场景感知调度
低功耗模式设计动态频率调整
21
异常处理与稳定性
模型加载失败处理 · 推理超时处理 · OOM保护
异常处理稳定性
22
单元测试与集成测试
模型输出正确性验证 · 性能基准测试 · 压力测试
单元测试集成测试
23
CI/CD流水线集成
自动化编译与打包 · 自动化测试 · 性能回归门禁
CI/CD流水线集成
24
实际案例
人脸检测 · 人脸关键点输出 · 性能优化实践
实际案例人脸检测
25
实际案例
图像分类 · Top-K结果输出 · 置信度过滤
实际案例图像分类
26
实际案例
目标检测 · NMS后处理 · Bounding Box绘制
实际案例目标检测
27
实际案例
语义分割 · 逐像素分类 · Mask叠加显示
实际案例语义分割
28
实际案例
超分辨率：ESPCN/SRCNN适配 · 实时超分 · 画质增强
实际案例ESPCN/SRCNN
29
实际案例
视频防抖：光流估计模型适配 · 特征点匹配 · 仿射变换
实际案例视频防抖
30
未来趋势与总结
端侧大模型推理 · Transformer在端侧的落地 · 神经架构搜索（NAS）
未来趋势端侧大模型推理