VIP8
本课程属于：122-OpenVINO边缘AI部署优化 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

18. OpenVINO生产监控：推理延迟、资源占用与日志分析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 生产监控在OpenVINO部署中的重…
课程导入学习目标
02
OpenVINO推理基础
模型优化 · 推理引擎 · 同步与异步API的基本概念
OpenVINO推理基础
03
生产环境监控概述
监控指标分类（延迟 · 吞吐量 · 资源占用
生产环境监控概述监控指标分类
04
推理延迟定义与测量
端到端延迟 · 模型推理延迟 · 预处理/后处理延迟的区分与测量方法
推理延迟定义测量
05
延迟性能基准测试
使用OpenVINO benchma… · 理解p50/p95/p99百分位
延迟性能基准测试OpenVINO
06
异步推理与延迟优化
异步流水线设计 · 多请求并发对延迟的影响及调优策略
异步推理延迟优化
07
资源占用监控
CPU · 内存 · GPU
资源占用监控CPU
08
CPU资源监控实战
使用psutil · /proc/stat等工具监控CPU… · 核心分配与频率
CPU资源监控实战
09
内存监控实战
监控进程内存 · 共享内存 · 显存占用
内存监控实战监控进程内存
10
GPU/VPU资源监控
使用OpenVINO插件API获取设… · 温度 · 功耗等指标
GPU/VPU资源监控
11
日志分析基础
OpenVINO日志级别（DEBUG… · 日志格式与输出配置
日志分析基础OpenVINO
12
日志采集与集中管理
使用syslog · logstash · Fluentd等工具收集OpenVI…
日志采集管理
13
日志结构化与解析
JSON日志格式设计 · 字段提取 · 日志索引与查询
日志结构化JSON
14
监控指标与日志关联
将延迟 · 资源指标与日志事件关联 · 定位性能瓶颈
监控指标日志关联
15
生产监控架构设计
基于Prometheus + Gra… · 集成OpenVINO指标
生产监控架构设计Prometheus
16
自定义指标暴露
使用Python prometheu… · 吞吐量 · 资源占用等自定义指标
自定义指标暴露Python
17
告警规则设计
基于延迟阈值 · 资源使用率 · 错误日志频率设置告警
告警规则设计基于延迟阈值
18
案例实战
使用OpenVINO部署YOLOv8… · 搭建完整监控面板
案例实战OpenVINO
19
案例实战
监控多模型服务（分类+检测）的延迟与…
案例实战监控多模型服务
20
案例实战
分析生产环境中的延迟抖动 · 通过日志定位预处理瓶颈
案例实战分析生产环境
21
常见问题
延迟突然升高 · 如何通过监控和日志快速定位
常见问题延迟突然升高
22
常见问题
内存持续增长 · 如何利用监控数据判断内存泄漏
常见问题内存持续增长
23
常见问题
GPU利用率低但CPU高 · 如何调整推理配置
常见问题GPU
24
常见问题
日志文件过大 · 如何实现日志轮转与压缩
常见问题日志文件过大
25
性能调优与监控联动
根据监控数据调整模型精度 · 批处理大小 · 线程数
性能调优监控联动
26
容器化环境监控
在Docker/Kubernetes… · 监控容器资源与日志
容器化环境监控Docker/Kuber…
27
安全与隐私
监控数据脱敏 · 日志访问控制 · 敏感信息保护
安全隐私
28
自动化运维
基于监控数据实现自动扩缩容 · 自动重启异常推理服务
自动化运维基于监控数据实现…
29
综合项目
构建一个完整的OpenVINO生产监… · 涵盖延迟 · 资源
综合项目OpenVINO
30
课程总结
核心要点回顾 · 最佳实践 · 后续学习路径与工具推荐
课程总结核心要点回顾