VIP8

本课程属于：083-工业边缘计算与容器化部署 智能机器人、自动化与智能装备工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

容器化推理服务Prometheus指标采集指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

了解容器化推理服务的架构与挑战 · 明确Prometheus指标采集在可… · 掌握课程整体学习路径

课程导入了解容器化推理服…

Prometheus基础

掌握Prometheus的数据模型 · 指标类型（Counter · Gauge

Prometheus掌握

容器化推理服务监控需求分析

梳理推理服务的关键性能指标（如推理延… · 吞吐量 · GPU利用率

容器化推理服务监…梳理推理服务的关…

指标暴露方式

学习如何在推理服务中集成Promet… · Go · Java）

指标暴露方式Promet

容器化部署基础

回顾Docker与Kubernete… · 理解Pod · Service

容器化部署基础Docker

Kubernetes服务发现

掌握Prometheus在K8s中的… · Service · Endpoint

Kubernetes服务发现

Prometheus配置实战

编写prometheus.yml · 配置scrape_configs · relabeling

Prometheus配置实战

推理服务指标设计

设计业务指标（如请求计数 · 延迟直方图 · 批处理大小）与系统指标（如CPU

推理服务指标设计设计业务指标

Histogram与Summary选择

深入对比Histogram与Summ… · 掌握分位数计算与误差控制

HistogramSummary

GPU指标采集

使用DCGM Exporter或nv… · 采集GPU利用率 · 显存占用

GPU指标采集

推理框架指标集成

针对TensorFlow Servi… · PyTorch Serve · ONNX Runtime等框架

推理框架指标集成TensorFlow

自定义Exporter开发

使用Python或Go开发轻量级Ex… · 从推理服务日志或内部状态中提取指标并…

Exporter自定义

指标标签设计

合理设计标签（如模型版本 · 推理设备 · 请求类型）

指标标签设计合理设计标签

PromQL查询与告警

掌握常用PromQL表达式（如rat… · histogram_quantile · sum by）

Grafana可视化

配置Grafana数据源 · 创建推理服务监控面板 · 展示延迟

Grafana可视化

告警规则与Alertmanager

配置告警规则（如P99延迟超阈值 · GPU利用率过低） · 通过Alertmanager实现邮件

Alertmanager告警规则

多环境指标采集

处理开发 · 测试 · 生产环境的差异

多环境指标采集处理开发

高基数问题与优化

识别并解决指标基数爆炸问题 · 采用聚合 · 降采样

高基数问题优化

指标采集性能调优

优化scrape间隔 · 超时 · 并发

指标采集性能调优scrape

安全与认证

为Prometheus端点启用TLS · Basic Auth或认证 · 防止未授权访问

持久化与存储

配置Prometheus本地存储或远… · VictoriaMetrics） · 实现指标长期保存与高可用

持久化存储

联邦与多集群采集

使用Prometheus联邦或Tha… · 实现多集群推理服务的统一指标采集与查…

联邦多集群采集

基于Kubernetes部署一个简单… · 完整配置Prometheus采集其指…

案例实战Kubernetes

为推理服务添加自定义业务指标（如请求… · 模型置信度） · 并配置告警

案例实战为推理服务添加自…

使用Grafana构建推理服务监控大… · 展示实时延迟分布 · 吞吐趋势和资源瓶颈

案例实战Grafana

常见问题排查

解决指标不显示 · 抓取超时 · 标签冲突

常见问题排查解决指标不显示

最佳实践总结

总结推理服务指标采集的命名规范 · 标签设计 · 采集频率

最佳实践总结总结推理服务指标…

结合CI/CD流程 · 实现推理服务发布时自动更新监控配置 · 并集成到统一可观测性平台

综合提升CI/CD

设计一个完整的推理服务可观测性方案 · 涵盖指标 · 日志

综合提升设计一个完整的推…

课程总结与展望

回顾核心知识点 · 探讨未来趋势（如OpenTeleme… · eBPF）

课程总结回顾核心知识点