VIP10

本课程属于：053-边缘AI图像识别 嵌入式基础与RISC-V · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

嵌入式Linux模型部署与推理框架移植调试实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导论与开发环境搭建

嵌入式AI概述 · 目标硬件选型（RK3588/Jets… · 交叉编译工具链安装

课程导论开发环境搭建

Linux内核与驱动基础

内核编译与模块加载 · 设备树（Device Tree）解析 · 字符设备驱动框架

模型格式与转换工具链

ONNX/TensorRT/TFLi… · PyTorch模型导出为ONNX · ONNX简化与优化

模型格式转换工具链

推理框架选型与交叉编译

NCNN/TensorRT/MNN/… · CMake交叉编译配置 · 静态库与动态库链接

推理框架选型交叉编译

NCNN框架移植与部署

NCNN源码结构解析 · ARM Neon指令集优化 · NCNN模型加载与推理

NCNN框架移植

TensorRT框架移植与部署

TensorRT ONNX解析器 · 动态形状（Dynamic Shape… · TensorRT INT8校准

TensorRT框架移植

MNN框架移植与部署

MNN模型转换与压缩 · MNN多后端（CPU/GPU/NPU… · MNN算子注册与自定义算子

MNN框架移植

OpenVINO框架移植与部署

OpenVINO模型优化器（MO） · 推理引擎（IE）API · 异构执行（Hetero Plugin…

OpenVINO框架移植

模型推理性能基准测试

FPS/延迟/吞吐量指标定义 · Benchmark工具开发（C++） · 内存与CPU占用监控

模型推理性能基准…FPS

图像分类模型部署实战

ResNet50/MobileNet… · 预处理与后处理流水线 · Top-5准确率验证

图像分类模型部署…ResNet50/Mob…

目标检测模型部署实战

YOLOv5/v8模型导出 · Anchor与NMS后处理实现 · TensorRT插件编写（如Batc…

目标检测模型部署…YOLOv5/v8

语义分割模型部署实战

DeepLabV3+/UNet模型转… · 逐像素分类后处理 · FP16推理精度验证

语义分割模型部署…DeepLabV3+/U…

NLP模型部署实战

BERT/TinyBERT模型导出 · Tokenization与Embed… · 动态序列长度处理

NLP模型部署实战

多模态模型部署实战

CLIP模型结构解析 · 视觉与文本特征提取 · 多模态特征融合

多模态模型部署实…CLIP

模型加密与版权保护

模型加密方案（AES/RSA） · 自定义解密加载器 · 模型文件完整性校验

模型加密版权保护

模型热更新与动态加载

动态库加载（dlopen） · 模型版本管理 · 热更新回滚机制

模型热更新动态加载

异构计算与NPU加速

NPU驱动与Runtime库集成 · NPU算子映射与约束 · CPU+NPU协同推理

NPU异构计算

多模型流水线编排

Pipeline架构设计 · 生产者-消费者模型 · 共享内存零拷贝

多模型流水线编排Pipeline

视频流AI推理实战

GStreamer管道集成 · Video4Linux2（V4L2）… · 硬件解码（MIPI/HDMI）

模型推理服务化

HTTP/gRPC服务搭建 · 请求排队与负载均衡 · 模型实例池管理

模型推理服务化HTTP/gRPC

边缘计算与云边协同

MQTT/CoAP协议集成 · 模型切片与边缘卸载 · 云端训练+边缘推理架构

边缘计算云边协同

调试工具与日志系统

GDB远程调试 · Valgrind内存泄漏检测 · Strace系统调用追踪

调试工具日志系统

常见推理错误与崩溃排查

Segmentation Fault… · 内存对齐问题 · 算子精度差异排查

常见推理错误崩溃排查

性能优化进阶

Cache友好性优化 · 循环展开与软件流水线 · NEON内联汇编

性能优化进阶Cache

模型剪枝与知识蒸馏

结构化剪枝实现 · 蒸馏训练流程 · 剪枝后模型部署适配

模型剪枝知识蒸馏

实时操作系统（RTOS）与Linux混合部署

AMP架构（Cortex-A+Cor… · RPMSG通信 · 实时任务调度

安全与可信AI

对抗样本防御 · 模型鲁棒性测试 · 输入验证与过滤

持续集成与自动化测试

CI/CD流水线设计（Jenkins… · 自动化回归测试 · 性能基线对比

持续集成自动化测试

智能摄像头AI盒子：需求分析 · 硬件选型 · 模型选型与训练

课程总结与前沿展望

Transformer在边缘端趋势 · 存算一体芯片 · AI编译器（TVM/MLIR）

课程总结前沿展望