4. 故障排查自动化概述：传统故障排查痛点、自动化排查目标、自动化与人工协同模式

在混沌工程基线核验场景中，故障注入后的系统行为验证与根因定位是决定实验闭环效率的关键环节。传统依赖人工登录服务器、逐层查看日志、手动执行命令的排查方式，在面对微服务拓扑复杂、调用链深、指标爆炸的现代分布式系统时，已无法满足基线核验对时效性和准确性的要求。本章从传统痛点出发，定义自动化排查的核心目标，并给出人机协同的最佳实践模式。

4.1 传统故障排查的五大痛点

传统故障排查流程通常由值班工程师在告警触发后启动，经历“感知→定位→分析→恢复”四个阶段。下表总结了各阶段的核心痛点及其对基线核验的影响：

4.2 自动化排查的核心目标

故障排查自动化的目标不是完全取代人，而是将工程师从重复、低价值的“数据搬运”工作中解放出来，聚焦于决策与改进。核心目标可归纳为以下四个维度：

• 目标一：感知自动化 —— 基于多维指标（延迟、错误率、饱和度、流量）的实时异常检测，自动触发排查流水线，消除告警延迟与遗漏。
• 目标二：定位自动化 —— 通过预定义的故障树或因果图，自动执行诊断步骤（如检查数据库连接池、缓存命中率、下游依赖健康状态），输出候选根因列表。
• 目标三：分析自动化 —— 将当前故障特征与历史基线数据进行比对，自动计算偏差幅度与影响范围，生成结构化的基线核验结论。
• 目标四：证据自动化 —— 自动收集故障时间窗口内的日志快照、指标曲线、调用链拓扑、变更记录，形成可审计的排查报告。

4.3 自动化与人工协同模式

完全自动化的故障排查在复杂系统中仍存在局限性：AI 模型可能产生误判、未知故障模式无法覆盖、恢复操作需要人工授权。因此，“自动化执行 + 人工决策”的协同模式是当前生产环境中最务实的方案。该模式将排查流程划分为三个层级：

1. L1 — 全自动执行层： 覆盖标准化、高频、低风险的排查动作，如指标采集、日志过滤、Trace 聚合、基线偏差计算。系统自动执行并输出结构化结果，无需人工介入。
2. L2 — 人工确认层： 当自动化系统输出候选根因或推荐恢复动作时，暂停执行并通知工程师确认。工程师可一键采纳、修改或驳回。此层适用于变更类故障或涉及数据写操作的场景。
3. L3 — 人工接管层： 当自动化系统连续出现置信度低于阈值、或遇到未注册的故障模式时，将控制权完全交还给工程师，系统退化为“数据辅助”角色，仅提供实时仪表盘和历史对比视图。

4.4 协同模式下的排查流程示例

以下是一个典型的混沌工程基线核验场景中，自动化与人工协同排查的步骤序列：