SLO 违约检测：Prometheus 告警规则、Grafana 仪表盘、日志异常检测
镜像拉取加速 SLO 违约后，首要任务是建立多维度、低延迟的检测体系。单一维度的告警容易产生误报或漏报，因此需要结合 指标（Metrics）、日志（Logs） 与 可视化（Visualization） 形成立体监控网。本节将分别讲解 Prometheus 告警规则设计、Grafana 仪表盘构建以及日志异常检测方法。
4.1 Prometheus 告警规则设计
告警规则应直接映射 SLO 指标。对于镜像拉取加速场景，核心 SLO 通常定义为“P99 拉取延迟 ≤ 5 秒”或“拉取成功率 ≥ 99.9%”。以下规则基于 kube_pod_container_status_waiting_reason、histogram_quantile 及自定义 image_pull_duration_seconds 指标。
| 告警名称 | PromQL 表达式 | 严重级别 | 说明 |
|---|---|---|---|
| HighImagePullLatency | histogram_quantile(0.99, sum(rate(image_pull_duration_seconds_bucket[5m])) by (le, image)) > 5 |
Critical | P99 拉取延迟超过 5 秒，触发紧急告警 |
| ImagePullErrorRateBurst | sum(rate(image_pull_failures_total[5m])) / sum(rate(image_pull_requests_total[5m])) > 0.01 |
Warning | 5 分钟内拉取错误率超过 1% |
| RegistryConnectivityLost | up{job="registry-proxy"} == 0 |
Critical | 镜像仓库代理探活失败，直接导致拉取中断 |
| CacheHitRateDrop | (1 - (rate(image_pull_cache_hits_total[10m]) / rate(image_pull_requests_total[10m]))) > 0.5 |
Warning | 缓存命中率低于 50%，加速效果显著下降 |
for: 2m，避免因瞬时抖动产生告警风暴。同时使用 group_interval: 5m 减少重复通知。
4.2 Grafana 仪表盘：SLO 全景视图
仪表盘应围绕 SLO 的三个核心维度设计：延迟（Latency）、错误（Errors）、吞吐（Throughput）。以下是一个推荐的仪表盘布局结构。
- P99 延迟面板：使用
stat可视化类型，显示当前值与 SLO 阈值的对比，并设置条件着色（绿色 ≤ 4s，黄色 4-5s，红色 > 5s）。 - 错误率面板：使用
time series叠加threshold线，当错误率超过 1% 时自动高亮。 - 事件时间线：集成
annotation功能，从 Prometheus 告警事件或 Loki 日志中自动拉取标记。
4.3 日志异常检测：从结构化日志中提取信号
指标告警只能反映“系统状态”，而日志异常检测能揭示“根因”。对于镜像拉取失败，常见的日志模式包括：manifest unknown、unauthorized: authentication required、connection refused、no such host。推荐使用 Loki + LogQL 进行实时检测。
4.3.1 基于 LogQL 的异常检测规则
| 检测场景 | LogQL 表达式 | 告警条件 |
|---|---|---|
| 认证失败激增 | sum(rate({job="kubelet"} |= "unauthorized" [5m])) > 0.5 |
5 分钟内认证失败日志超过 0.5 条/秒 |
| 镜像不存在 | count_over_time({job="registry-proxy"} |= "manifest unknown" [10m]) > 10 |
10 分钟内出现超过 10 次 manifest 未知错误 |
| 网络超时模式 | rate({job="containerd"} |= "context deadline exceeded" [5m]) > 0.1 |
containerd 上下文超时错误速率超过 0.1 |
4.3.2 日志模式聚类与基线
对于非结构化或半结构化日志，建议引入 日志模式聚类 工具（如 LogReduce、Drain 算法），将相似日志归并为模式。然后基于历史数据建立基线，当某个模式的频率偏离基线超过 3 个标准差时，触发异常告警。
4.4 告警与日志的联动：事件驱动自动化
当 Prometheus 告警触发或日志异常模式被检测到时，应自动触发后续处置流程。推荐使用 Alertmanager Webhook 或 Loki Ruler 将事件发送至自动化引擎（如 Argo Workflows、Kubernetes Job）。
- Prometheus → Alertmanager → Webhook → 自动化引擎： 适用于指标驱动的告警，例如 P99 延迟超限后自动触发镜像预热或回退操作。
- Loki Ruler → Webhook → 自动化引擎： 适用于日志模式驱动的告警，例如检测到“manifest unknown”后自动触发镜像同步任务。
- Grafana 注释联动： 在仪表盘上直接标注告警事件和日志异常时间点，方便 SRE 快速进行根因分析。
通过上述 Prometheus 告警规则、Grafana 仪表盘与日志异常检测的组合，可以构建一个覆盖“指标-日志-可视化”的完整 SLO 违约检测体系，为后续的镜像拉取处置提供精准的触发信号。