VIP10

本课程属于：053-边缘AI图像识别 嵌入式基础与RISC-V · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

嵌入式Linux模型部署从入门到推理性能调优实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与嵌入式AI概述

什么是嵌入式AI · 模型部署的挑战 · 课程目标与学习路径

嵌入式Linux开发环境搭建

交叉编译工具链 · SSH/NFS网络配置 · 目标板与宿主机通信

深度学习模型基础回顾

神经网络核心概念 · 卷积/池化/全连接层 · 模型文件格式（ONNX/Tensor…

深度学习模型基础…神经网络核心概念

模型转换与中间表示

PyTorch/TF模型导出为ONN… · ONNX结构解析 · 算子兼容性检查

模型转换间表示

ONNX Runtime入门

ONNX Runtime架构 · CPU/GPU后端选择 · 在x86 Linux上跑通第一个推理…

目标板推理引擎选型

Tengine · NCNN · MNN

目标板推理引擎选…Tengine

交叉编译推理引擎

以Tengine为例 · 在ARM Linux上编译部署库 · 静态/动态链接库选择

交叉编译推理引擎Tengine

第一个嵌入式推理程序

编写C++推理代码 · 加载模型 · 预处理图像

第一个嵌入式推理…C++

模型量化原理

FP32 vs INT8 · 对称/非对称量化 · 校准数据集

模型量化原理FP32

后训练量化实战

使用ONNX Runtime进行IN… · 精度损失评估 · 量化失败案例分析

后训练量化实战ONNX

模型剪枝与结构优化

结构化剪枝 · 通道剪枝 · 层融合

模型剪枝结构优化

算子优化与内核调优

手写汇编算子 · NEON指令集优化 · Winograd卷积加速

算子优化内核调优

内存管理与数据搬运

DDR带宽瓶颈 · 内存池设计 · DMA传输

内存管理数据搬运

多线程与流水线并行

OpenMP多线程推理 · 生产者-消费者模型 · 异步推理框架设计

多线程流水线并行

CPU推理性能调优

CPU亲和性设置 · 线程池优化 · 指令集检测与动态调度

CPU推理性能调优

GPU/NPU加速入门

ARM Mali GPU · NPU（如算能 · 瑞芯微）驱动安装

GPU/NPU加速入门

NPU模型编译与部署

以瑞芯微RK3588为例 · RKNN模型转换 · NPU驱动API调用

NPU模型编译

异构计算框架

CPU+GPU+NPU协同工作 · 任务拆分 · 负载均衡策略

异构计算框架CPU+GPU+NPU

推理性能Profiling工具

perf · gprof · Valgrind

Profiling推理性能

模型延迟与吞吐量优化

Batch推理 · 动态Batch · 模型分片

模型延迟吞吐量优化

端侧视觉模型部署实战

YOLOv5/v8目标检测模型导出 · 预处理优化 · NMS后处理加速

端侧视觉模型部署…YOLOv5/v8

端侧NLP模型部署实战

BERT/TinyBERT模型量化 · Transformer算子优化 · KV Cache管理

端侧语音模型部署实战

唤醒词模型 · Kaldi/WeNet模型转ONNX · 流式推理实现

端侧语音模型部署…唤醒词模型

模型加密与安全部署

模型加密方案 · TEE安全执行环境 · 反逆向工程技巧

模型加密安全部署

OTA升级与模型热更新

差分升级 · 模型版本管理 · AB分区切换

功耗与散热调优

DVFS调频策略 · 温控降频 · 推理任务调度与功耗平衡

功耗散热调优

端侧推理框架二次开发

自定义算子注册 · 图优化Pass编写 · 内存分配器定制

端侧推理框架二次…自定义算子注册

CI/CD与自动化测试

模型精度回归测试 · 性能基准测试 · 自动化部署流水线

CI/CD自动化测试

工业级案例

智能摄像头人脸识别系统

工业级案例智能摄像头人脸识…

工业级案例

车载ADAS目标检测系统：实时性保障 · 多传感器融合 · 功能安全考量

工业级案例ADAS