VIP8
本课程属于：190-边缘AI工业视觉量产部署 智能机器人、自动化与智能装备工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

7. 边缘AI产线实时推理：节拍、延迟和吞吐指标设计

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
边缘AI产线实时推理的行业背景 · 核心挑战 · 学习目标与课程整体框架
课程导入AI
02
基础概念
节拍（Takt Time） · 延迟（Latency） · 吞吐（Throughput）的定义
基础概念Takt
03
边缘计算基础
边缘AI的硬件形态（GPU · NPU · FPGA
边缘计算基础AI
04
产线实时推理场景分析
典型应用（质检 · 分拣 · 装配校验）对节拍
产线实时推理场景…典型应用
05
节拍设计
产线节拍的计算方法 · 与推理延迟的关系 · 如何确定目标节拍
节拍设计产线节拍的计算方…
06
延迟指标
端到端延迟 · 模型推理延迟 · 预处理/后处理延迟的分解与测量方法
延迟指标端到端延迟
07
吞吐指标
每秒处理帧数（FPS） · 每秒推理次数（IPS） · 批量大小对吞吐的影响
吞吐指标FPS
08
性能指标之间的关系
延迟与吞吐的权衡（Little定律） · 节拍与吞吐的匹配策略
性能指标之间的关…Little
09
实时性要求分级
硬实时 · 软实时 · 准实时的判定标准与设计差异
实时性要求分级硬实时
10
性能基准测试方法
设计基准测试集 · 测试环境搭建 · 重复性与稳定性评估
性能基准测试方法设计基准测试集
11
延迟测量工具
使用perf · nsight · vtune
延迟测量工具perf
12
吞吐测量工具
使用压力测试工具（如wrk · ghz · 自定义脚本）评估推理服务吞吐
吞吐测量工具wrk
13
模型优化对指标的影响
量化 · 剪枝 · 蒸馏
模型优化对指标的…量化
14
推理引擎调优
TensorRT/OpenVINO的… · 工作空间 · 动态形状）对性能的影响
推理引擎调优TensorRT/Ope…
15
硬件资源管理
CPU/GPU/NPU的利用率 · 内存带宽 · 缓存优化对延迟和吞吐的作用
硬件资源管理CPU/GPU/NPU
16
流水线设计
多级流水线（采集 · 预处理 · 推理
流水线设计多级流水线
17
批处理策略
动态批处理 · 固定批处理 · 批大小对延迟和吞吐的权衡
批处理策略动态批处理
18
多路并发处理
多摄像头/多工位场景下的并发推理架构…
多路并发处理多摄像头
19
实时操作系统与调度
RTOS · 实时线程优先级 · 中断处理对延迟的影响
实时操作系统调度
20
网络与通信延迟
边缘设备与云端/PLC之间的数据传输…
网络通信延迟
21
案例实战
基于Jetson的产线质检系统——从…
案例实战Jetson
22
案例实战
基于x86+GPU的视觉分拣系统——…
案例实战x86+GPU
23
案例实战
基于NPU的低功耗边缘盒子——节拍约…
案例实战NPU
24
性能瓶颈定位
使用火焰图 · trace分析 · profiling定位延迟和吞吐瓶颈
性能瓶颈定位使用火焰图
25
常见问题与解决
延迟抖动 · 吞吐骤降 · 节拍不达标的原因分析与对策
常见问题解决
26
指标监控与告警
实时监控延迟 · 吞吐 · 节拍达成率
指标监控告警
27
性能测试自动化
CI/CD中集成性能回归测试 · 确保指标稳定
性能测试自动化CI/CD
28
综合设计实战
给定产线需求（节拍 · 精度 · 成本）
综合设计实战给定产线需求
29
前沿趋势
边缘AI加速器新架构 · 模型压缩新方法 · 自适应推理对指标设计的影响
前沿趋势AI
30
课程总结与考核
核心知识回顾 · 常见误区 · 综合练习题与项目答辩要求
课程总结考核