📚 课程目录第1章 MTTR基础概念

1. MTTR 基础概念与 Kubernetes 节点故障核心指标拆解

在 Kubernetes 集群运维中，MTTR（Mean Time To Repair，平均修复时间） 是衡量故障恢复效率的核心指标。它直接决定了集群的可用性（SLA）和业务中断时长。理解 MTTR 的定义，并将其拆解为可观测、可量化的子阶段，是进行调度策略调优的前提。

MTTR 描述的是从故障发生到系统完全恢复正常服务所经历的平均时间。在 Kubernetes 节点故障场景下，它涵盖了从节点异常到 Pod 在新节点上重新运行并对外提供服务的全过程。

核心公式：

MTTR = (总修复时间) / (故障次数)

其中“修复时间”在 K8s 场景下，通常指从节点状态变为 NotReady 到受影响工作负载完全恢复的时间窗口。

为了精准定位瓶颈，我们将节点故障的 MTTR 拆解为四个可观测的子阶段：检测（Detection）、诊断（Diagnosis）、修复（Repair）、验证（Verification）。每个阶段都有其独立的耗时和优化空间。

阶段	定义	K8s 节点故障场景示例	关键耗时因素
检测	从故障发生到系统（监控/控制器）感知到异常的时间。	节点心跳超时、kubelet 停止上报状态、Node Problem Detector 触发事件。	监控采集间隔、心跳超时阈值、告警延迟。
诊断	从感知异常到确定故障根因和影响范围的时间。	排查节点是硬件故障、网络分区、还是 kubelet 夯死；确定受影响 Pod 列表。	日志查询效率、可观测性数据关联度、人工介入时间。
修复	从确定根因到执行修复操作、系统开始恢复的时间。	自动驱逐 Pod、节点重启、替换故障节点、调度 Pod 到新节点。	Pod 驱逐策略、节点自愈脚本、调度器调度周期、镜像拉取时间。
验证	从修复完成到确认业务完全恢复、流量正常的时间。	Pod 状态变为 Running 且 Ready、健康检查通过、业务流量恢复。	Readiness Probe 配置、负载均衡器切换、业务层健康检查。

MTTR 优化重点： 在大多数 K8s 集群中，检测和修复阶段占据了 MTTR 的 70% 以上。检测阶段的优化依赖于更短的心跳间隔和更灵敏的异常检测；修复阶段的优化则直接与调度策略（如 Pod 反亲和、拓扑分布约束）和节点自愈能力相关。

下图展示了 MTTR 四个阶段在 Kubernetes 节点故障场景下的串联流程，以及每个阶段的核心参与组件。

为了量化每个阶段的效率，我们需要定义具体的可观测指标。以下表格列出了每个阶段的核心度量指标及其在 Prometheus 或日志系统中的典型查询方式。

阶段	核心指标	PromQL / 日志查询示例	优化目标
检测	节点故障检测延迟	`time(up{job="node"} == 0) - time(kube_node_status_condition{condition="Ready",status="true"} == 0)`	< 30s
诊断	根因定位时间	事件时间戳差：`kube_node_status_condition{condition="Ready",status="unknown"} 到 kubectl describe node 输出时间`	< 2min
修复	Pod 驱逐与重调度时间	`time(kube_pod_status_phase{phase="Running"}) - time(kube_node_status_condition{condition="Ready",status="false"})`	< 5min
验证	业务恢复时间	自定义业务探针：`time(http_request_duration_seconds{status="200"}) - time(pod_ready)`	< 1min

常见误区： 很多团队只关注“Pod 重新调度完成”的时间，而忽略了检测延迟和验证延迟。例如，如果 kubelet 的心跳间隔设置为 60s，那么即使修复过程只需 10s，MTTR 也至少为 70s。因此，全链路度量是 MTTR 优化的基础。

根据生产环境经验，一个典型的节点故障 MTTR 耗时分布如下。这张图可以帮助我们确定调优的优先级。

通过将 MTTR 拆解为检测、诊断、修复、验证四个阶段，我们可以清晰地看到：

检测阶段的延迟决定了我们何时开始响应故障，这直接影响了后续所有阶段的起始时间。
修复阶段的效率高度依赖于调度策略的配置，例如 pod-eviction-timeout、node-lifecycle-controller 的驱逐行为、以及调度器的 preemption 和 spreading 策略。
验证阶段的耗时则与 Pod 的 readinessProbe 和 livenessProbe 配置密切相关。