VIP20
本课程属于：023-Edge AI多传感器融合推理 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

边缘AI实时推理延迟预算分配实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念（延迟预算 · 实时推理
课程导入学习目标
02
边缘AI基础
边缘计算架构 · 典型部署形态（设备端 · 边缘服务器
AI边缘
03
实时推理系统概述
推理流水线（采集 · 预处理 · 推理
实时推理系统概述推理流水线
04
延迟预算概念详解
定义 · 粒度（端到端 · 阶段级
延迟预算概念详解定义
05
延迟测量与剖析
常用工具（perf · TensorRT profiler · TFLite benchmark）
延迟测量剖析
06
硬件与平台特性
CPU · GPU · NPU
硬件平台特性
07
模型选择与延迟预估
轻量级模型（MobileNet · EfficientNet-Lite · YOLO-Nano）的延迟基准与选择…
模型选择延迟预估
08
模型压缩与加速
量化（INT8/FP16） · 剪枝 · 蒸馏
模型压缩加速
09
推理引擎优化
TensorRT · ONNX Runtime · OpenVINO
推理引擎优化TensorRT
10
流水线并行与异步处理
多线程 · 异步IO · 流水线重叠
流水线并行异步处理
11
动态批处理与请求调度
批处理大小 · 优先级队列 · 负载均衡在延迟预算中的权衡
动态批处理请求调度
12
缓存与预计算
特征缓存 · 结果缓存 · 提前计算热点路径
缓存预计算
13
网络传输延迟优化
边缘-云端通信协议（MQTT · gRPC · WebSocket）
网络传输延迟优化MQTT
14
延迟预算分配方法论
自上而下分解（SLO→阶段预算） · 自下而上聚合 · 迭代调整流程
延迟预算分配方法…SLO
15
案例实战
智能安防（视频流目标检测）的延迟预算…
案例实战智能安防
16
案例实战
工业质检（缺陷检测）的实时推理延迟控…
案例实战工业质检
17
案例实战
自动驾驶/辅助驾驶（多传感器融合）的…
案例实战自动驾驶
18
案例实战
智能语音助手（语音识别与合成）的端到…
案例实战智能语音助手
19
案例实战
AR/VR手势识别与姿态估计的延迟预…
案例实战AR/VR
20
案例实战
智慧零售（实时客流统计与商品识别）的…
案例实战智慧零售
21
延迟预算与服务质量（QoS）
SLA定义 · 超时处理 · 降级策略
QoS延迟预算
22
多任务场景下的预算分配
多模型共享资源 · 优先级划分 · 时间片调度
多任务场景下的预…多模型共享资源
23
动态环境适应
网络波动 · 负载变化 · 硬件降频时的延迟预算动态调整
动态环境适应网络波动
24
监控与告警
延迟指标采集 · 可视化（Grafana） · 异常检测
监控告警
25
性能测试与压测
构建延迟测试基准 · 负载生成 · 结果分析
性能测试压测
26
常见问题与排查
延迟抖动 · 冷启动 · 内存泄漏
常见问题排查
27
工具链与自动化
CI/CD集成延迟回归测试 · 自动化调优脚本 · 模型部署流水线
工具链自动化
28
成本与延迟权衡
硬件选型 · 云服务计费 · 能耗与延迟的平衡策略
成本延迟权衡
29
综合实战项目
从需求分析 · 预算分配 · 系统设计
综合实战项目从需求分析
30
课程总结与进阶方向
核心要点回顾 · 常见陷阱 · 前沿技术（如神经形态计算
课程总结进阶方向