所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

嵌入式AI实时推理延迟分析与优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念（实时性 · 延迟
课程导入学习目标
02
嵌入式AI基础
嵌入式系统特点 · AI推理在嵌入式端的应用场景与挑战
AI嵌入式
03
实时推理延迟定义
端到端延迟 · 单层延迟 · 批处理延迟
实时推理延迟定义端到端延迟
04
延迟测量方法
时间戳法 · 硬件计数器 · 性能分析工具（perf
延迟测量方法时间戳法
05
嵌入式硬件架构
CPU · GPU · NPU
嵌入式硬件架构CPU
06
内存层次与延迟
Cache · DDR · SRAM
内存层次延迟
07
操作系统与调度
Linux实时调度 · RTOS · 中断处理
操作系统调度
08
推理框架与运行时
TensorFlow Lite · ONNX Runtime · NCNN
推理框架运行时
09
模型量化与延迟
INT8/FP16量化对推理延迟和精…
模型量化延迟
10
模型剪枝与延迟
结构化剪枝 · 非结构化剪枝对计算量和延迟的优化效果
模型剪枝延迟
11
知识蒸馏与延迟
轻量模型设计（MobileNet · EfficientNet）与蒸馏技术…
知识蒸馏延迟
12
算子优化
卷积 · 全连接 · 激活函数的优化策略（Winograd
算子优化卷积
13
图优化与融合
算子融合 · 常量折叠 · 内存复用对延迟的改善
图优化融合
14
并行计算与多线程
多核CPU并行 · GPU并行 · 流水线并行降低延迟
并行计算多线程
15
异步推理与流水线
异步执行 · 双缓冲 · 多级流水线设计减少等待时间
异步推理流水线
16
动态批处理与延迟
动态批处理策略在实时场景下的权衡与实…
动态批处理延迟
17
延迟抖动分析
抖动来源（调度 · 内存 · 中断）
延迟抖动分析抖动来源
18
实时性保障机制
优先级反转 · 互斥锁 · 无锁编程
实时性保障机制优先级反转
19
端侧推理延迟优化案例
基于树莓派/手机/嵌入式板卡的图像分…
端侧推理延迟优化…基于树莓派
20
目标检测延迟优化案例
YOLO系列在嵌入式端的延迟分析与优… · NCNN）
目标检测延迟优化…YOLO
21
语音识别延迟优化案例
KWS/语音唤醒的实时推理延迟优化实…
语音识别延迟优化…KWS
22
视频流实时推理
视频解码 · 预处理 · 推理
视频流实时推理视频解码
23
多模型协同延迟优化
级联模型 · 模型分片 · 多模型并行调度
多模型协同延迟优…级联模型
24
硬件加速器使用
NPU/DSP的编程模型 · 内存拷贝优化 · 延迟调优
硬件加速器使用NPU/DSP
25
延迟与功耗权衡
动态电压频率调整（DVFS） · 功耗管理对延迟的影响
延迟功耗权衡
26
性能基准与评估
建立延迟基准测试集 · 评估指标（P50/P95/P99） · 对比方法
性能基准评估
27
常见延迟瓶颈排查
CPU占用 · 内存带宽 · I/O等待
常见延迟瓶颈排查CPU
28
工具链与自动化优化
使用AI编译器（TVM · Glow）自动调优延迟
工具链自动化优化
29
综合实战项目
设计一个嵌入式实时AI系统（如智能门… · 完成延迟分析与优化全流程
综合实战项目AI
30
课程总结与进阶方向
回顾核心知识 · 常见误区 · 未来趋势（边缘计算
课程总结进阶方向