4. 自愈剧本设计原则：幂等性、可观测性、回滚机制、最小权限原则

自愈剧本是 Exporter 链路故障恢复的核心执行单元。一个设计不良的剧本可能比故障本身造成更大的破坏——例如重复执行导致数据污染、权限滥用引发安全事件、或回滚缺失使系统陷入未知状态。本章围绕四项核心原则展开，确保剧本在自动化恢复过程中具备确定性、可审计性、安全性和可逆性。

4.1 四项原则概览

4.2 幂等性：让剧本可重复执行

幂等性是自愈剧本的第一安全锁。当网络抖动导致剧本重复触发、或人工重试时，幂等性保证系统不会因多次执行而偏离预期状态。

# 非幂等写法（危险）
systemctl restart node_exporter

# 幂等写法（安全）
if ! systemctl is-active --quiet node_exporter; then
    systemctl start node_exporter
else
    echo "node_exporter 已在运行，跳过启动"
fi

4.3 可观测性：让每一次执行都有迹可循

自愈剧本不能是黑盒。可观测性要求剧本在执行过程中暴露足够的信息，使 SRE 能够快速定位问题、评估影响、审计行为。

可观测性覆盖四个维度：

• 日志（Logs）：结构化输出，包含剧本名称、执行 ID、触发条件、每一步的输入/输出/耗时。
• 指标（Metrics）：记录执行次数、成功率、失败原因分布、执行时长 P50/P99。
• 链路（Traces）：将剧本执行与上游告警、下游恢复动作串联，形成端到端追踪。
• 事件（Events）：关键决策点（如回滚触发、权限提升）发送事件到统一事件总线。

4.4 回滚机制：给自愈上最后一道保险

任何自愈动作都可能失败或产生副作用。回滚机制确保当剧本执行到一半失败、或恢复效果不符合预期时，系统能够安全地恢复到执行前的状态。

回滚设计三要素：

1. 状态快照：在执行任何变更前，备份被修改的资源（配置文件、进程状态、网络规则等）。
2. 回滚脚本：每个正向操作都对应一个反向操作，且反向操作同样遵循幂等性。
3. 原子性边界：将剧本拆分为多个原子步骤，每个步骤执行前记录 checkpoint，回滚时从最后一个成功的 checkpoint 开始逆向恢复。

# 回滚示例：配置更新前备份
BACKUP_PATH="/var/backup/node_exporter/$(date +%s).yml"
cp /etc/node_exporter/config.yml "$BACKUP_PATH"

# 执行配置更新
cp /tmp/new_config.yml /etc/node_exporter/config.yml

# 验证配置
if ! node_exporter --verify-config; then
    echo "配置验证失败，触发回滚"
    cp "$BACKUP_PATH" /etc/node_exporter/config.yml
    systemctl restart node_exporter
    exit 1
fi

4.5 最小权限原则：限制剧本的“杀伤半径”

自愈剧本通常需要一定的系统权限来执行恢复操作。最小权限原则要求：剧本只拥有完成其任务所必需的最小权限集，且权限在任务完成后立即回收。

4.6 四项原则的协同关系

四项原则并非孤立存在，而是相互增强：

• 幂等性 + 可观测性：幂等执行产生的可预测结果，使可观测数据更易于分析和告警。
• 回滚机制 + 最小权限：最小权限限制了回滚操作的“杀伤半径”，使回滚更安全、更快速。
• 可观测性 + 回滚机制：可观测性提供回滚决策的依据（如失败原因、影响范围），避免盲目回滚。
• 最小权限 + 幂等性：权限受限的剧本更倾向于使用条件检查和原子操作，天然促进幂等设计。