VIP20
本课程属于：047-地平线旭日X3X5边缘AI部署 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

5. 旭日BPU推理机制：模型加载、输入输出和性能统计

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
了解旭日BPU在AI推理中的定位 · 课程目标 · 学习路径和整体知识框架
课程导入BPU
02
BPU硬件基础
掌握旭日BPU的架构特点 · 算力指标 · 内存层次和与CPU/GPU的分工
BPU硬件基础
03
推理软件栈
熟悉BPU推理相关的软件组件 · 包括驱动 · 运行时库
推理软件栈BPU
04
模型格式与转换
理解ONNX · Caffe · TFLite等模型格式
模型格式转换
05
模型加载流程
详细讲解从文件读取 · 解析 · 校验到加载进BPU内存的完整步骤和A…
模型加载流程详细讲解从文件读…
06
输入数据预处理
掌握图像缩放 · 归一化 · 通道转换
输入数据预处理掌握图像缩放
07
输入输出张量管理
学习如何创建输入张量 · 分配内存 · 绑定数据以及获取输出张量的方式
输入输出张量管理学习如何创建输入…
08
推理执行模式
对比同步推理和异步推理的差异 · 理解阻塞与非阻塞调用的适用场景
推理执行模式对比同步推理
09
多模型并发推理
了解如何在BPU上同时运行多个模型 · 以及资源分配和调度策略
多模型并发推理BPU
10
性能统计指标
掌握推理延迟 · 吞吐量 · 帧率
性能统计指标掌握推理延迟
11
性能分析工具
学习使用BPU官方工具（如bpu_p… · profiler）进行性能剖析和瓶颈…
性能分析工具BPU
12
性能优化策略
从模型裁剪 · 量化 · 输入尺寸
性能优化策略从模型裁剪
13
常见错误与调试
分析模型加载失败 · 输出错误 · 内存泄漏等常见问题
常见错误调试
14
实战案例一
使用Python API加载一个分类… · 完成图像分类推理并输出结果
实战案例一Python
15
实战案例二
使用C++ API实现目标检测模型的… · 推理和后处理（如NMS）
实战案例二C++
16
实战案例三
实现视频流实时推理 · 并统计每帧处理时间和整体FPS
实战案例三实现视频流实时推…
17
实战案例四
多线程异步推理 · 提升多路视频流的并发处理能力
实战案例四多线程异步推理
18
实战案例五
性能对比实验 · 对比不同预处理方式或模型版本对推理性…
实战案例五性能对比实验
19
输入输出格式详解
深入理解BPU对输入输出的数据格式要… · 包括对齐 · 填充和数据类型
输入输出格式详解BPU
20
内存管理机制
学习BPU内存的分配 · 释放 · 缓存同步和零拷贝技术
内存管理机制BPU
21
模型量化与精度
了解INT8/FP16量化的原理 · 以及量化对模型精度和性能的影响
模型量化精度
22
自定义算子支持
探讨BPU对自定义算子的支持方式 · 以及如何注册和调用
自定义算子支持BPU
23
与深度学习框架集成
掌握如何将BPU推理集成到PyTor… · TensorFlow等框架的推理流程…
深度学习框架集成BPU
24
部署环境配置
学习在嵌入式Linux或RTOS上配… · 包括依赖库和权限设置
部署环境配置Linux
25
性能统计自动化
编写脚本自动记录多次推理的性能数据 · 并生成统计报告
性能统计自动化编写脚本自动记录…
26
故障排查案例
分析一个实际推理性能骤降的案例 · 从硬件 · 软件
故障排查案例分析一个实际推理…
27
高级优化技巧
探索模型分片 · 算子融合 · 动态批处理等高级优化手段
高级优化技巧探索模型分片
28
综合项目实战
设计一个端到端的智能安防系统 · 使用BPU完成实时检测和性能监控
综合项目实战设计一个端到端的…
29
课程总结与知识图谱
梳理本课程所有知识点 · 形成完整的BPU推理知识体系
课程总结知识图谱
30
拓展学习与社区资源
推荐官方文档 · 开源项目 · 技术社区
拓展学习社区资源