VIP20

本课程属于：030-Edge AI硬件加速NPU调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NPU delegate在实时视频流任务中的加速部署课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解NPU delegate在实时视… · 课程目标 · 学习路径和整体框架

课程导入NPU

NPU与边缘计算基础

掌握NPU架构 · 算力特点 · 与GPU/CPU的对比

NPU边缘计算基础

实时视频流处理基础

理解视频流采集 · 解码 · 帧处理

实时视频流处理基…理解视频流采集

TFLite与Delegate机制

掌握TFLite的模型表示 · 解释器架构 · 以及Delegate的注册

NPU Delegate原理

深入理解NPU delegate的工… · 算子映射 · 内存管理

常见NPU平台与SDK

对比高通SNPE · 联发科NeuroPilot · 华为HiAI

环境搭建与工具链

学习安装NPU驱动 · SDK · TFLite以及交叉编译工具链

环境搭建工具链

模型转换与量化

掌握将TensorFlow/PyTo… · 并进行INT8/FP16量化以适配N…

模型转换量化

算子支持与兼容性分析

分析NPU delegate支持的算… · 处理不支持的算子回退策略

算子支持兼容性分析

第一个NPU Delegate程序

编写一个简单的图像分类程序 · 使用NPU delegate加速 · 并验证正确性和性能

实时视频流管线设计

设计基于NPU delegate的视… · 包括采集 · 预处理

实时视频流管线设…NPU

视频解码与帧同步

使用硬件解码器（如FFmpeg · MediaCodec）获取视频帧 · 并确保帧率与NPU推理同步

视频解码帧同步

预处理优化

针对NPU输入要求 · 优化图像缩放 · 归一化

预处理优化NPU

后处理与结果渲染

实现目标检测 · 分类等任务的后处理（NMS · 阈值过滤）

后处理结果渲染

多线程与异步流水线

利用多线程 · 双缓冲 · 异步推理等技术提高视频流处理吞吐量

多线程异步流水线

性能调优与基准测试

使用profiling工具分析NPU… · 内存带宽 · 算子耗时

性能调优基准测试

内存管理与零拷贝

掌握NPU内存分配 · 复用 · DMA传输

内存管理零拷贝

多模型与多路视频流

学习在单NPU上部署多个模型或处理多… · 平衡资源分配

多模型多路视频流

动态输入与可变分辨率

处理视频流中分辨率变化 · 动态batch等场景 · 配置NPU delegate支持动态…

动态输入可变分辨率

常见问题与调试技巧

解决NPU delegate加载失败 · 算子不支持 · 精度下降

常见问题调试技巧

精度与性能权衡

分析量化对精度的影响 · 学习混合精度 · 感知量化等技巧

精度性能权衡

人脸检测与关键点 · 并优化性能

案例实战人脸检测

实时姿态估计 · 实现实时视频流人体关键点跟踪

案例实战实时姿态估计

智能安防监控 · 实现行人检测 · 行为识别等

案例实战智能安防监控

自动驾驶辅助 · 车辆检测等实时任务

案例实战自动驾驶辅助

边缘设备部署与优化

针对树莓派 · Jetson · RK3588等边缘设备

边缘设备部署优化

与深度学习框架集成

学习如何将NPU delegate集… · PyTorch Mobile · ONNX Runtime等框架

深度学习框架集成NPU

性能对比与选型

对比不同NPU平台和delegate… · 功耗 · 成本

性能对比选型

实时视频流目标检测系统 · 使用NPU delegate加速 · 并进行端到端优化

综合项目实时视频流目标检…

课程总结与进阶方向

回顾核心知识点 · 总结最佳实践 · 探讨未来趋势（如Transforme…

课程总结进阶方向