4. 自愈剧本设计原则：幂等性、原子性、可观测性、回滚机制、安全边界

自愈剧本是 SRE 在 Exporter 数据采集异常场景下的“应急预案代码化”。设计不良的剧本可能引发二次故障、数据污染或权限泄露。本章围绕五个核心原则展开，确保剧本在复杂生产环境中具备鲁棒性与可维护性。

4.1 原则总览与对比

五个原则分别对应自愈剧本的不同生命周期阶段：

4.2 幂等性：重复执行的安

幂等性要求无论剧本执行一次还是一百次，系统最终状态保持一致。对于 Exporter 操作，常见幂等实现方式包括：

• 先检查后操作（Check-then-Act）： 重启前先检测进程是否存在、端口是否监听；仅当状态异常时才执行重启。
• 使用唯一标识符： 配置备份文件以时间戳+Exporter 实例 ID 命名，避免覆盖。
• 状态文件锁： 在剧本执行开始时写入状态文件，结束时清理；重复执行时检测锁文件存在则跳过。

# 幂等重启示例：先检查进程状态
import subprocess
import sys

EXPORTER_NAME = "node_exporter"

def is_exporter_running():
    result = subprocess.run(
        ["pgrep", "-x", EXPORTER_NAME],
        capture_output=True, text=True
    )
    return result.returncode == 0

def restart_exporter():
    if not is_exporter_running():
        subprocess.run(["systemctl", "restart", EXPORTER_NAME], check=True)
        print("Exporter 已重启")
    else:
        print("Exporter 运行正常，跳过重启")

if __name__ == "__main__":
    restart_exporter()

4.3 原子性：全有或全无

自愈剧本通常包含多个步骤：停止 Exporter、备份配置、修改配置、启动 Exporter、验证采集。原子性要求这些步骤作为一个整体执行，任何一步失败都应触发回滚。

实现原子性的常用模式：

• 临时目录 + 符号链接切换： 在新目录中完成所有配置变更，验证通过后通过符号链接一次性切换。
• 事务性状态机： 记录每个步骤的执行状态，失败时根据状态机反向执行补偿操作。
• Python try...except...finally 结构： 在 finally 块中执行资源清理和状态恢复。

# 原子性操作示例：配置更新失败时自动回滚
import shutil
import os
from pathlib import Path

CONFIG_DIR = Path("/etc/node_exporter")
BACKUP_DIR = Path("/tmp/node_exporter_backup")

def atomic_config_update(new_config_path: str):
    # 1. 备份当前配置
    if CONFIG_DIR.exists():
        shutil.copytree(CONFIG_DIR, BACKUP_DIR, dirs_exist_ok=True)
    
    try:
        # 2. 应用新配置
        shutil.copy(new_config_path, CONFIG_DIR / "config.yaml")
        # 3. 验证配置
        result = subprocess.run(["node_exporter", "--check-config"], capture_output=True)
        if result.returncode != 0:
            raise RuntimeError("配置验证失败")
        # 4. 重启 Exporter
        subprocess.run(["systemctl", "restart", "node_exporter"], check=True)
    except Exception as e:
        # 5. 回滚
        if BACKUP_DIR.exists():
            shutil.rmtree(CONFIG_DIR)
            shutil.copytree(BACKUP_DIR, CONFIG_DIR, dirs_exist_ok=True)
        raise e
    finally:
        # 6. 清理备份
        if BACKUP_DIR.exists():
            shutil.rmtree(BACKUP_DIR)

4.4 可观测性：让剧本执行透明化

自愈剧本本身需要被观测，否则运维人员无法判断剧本是否执行、执行结果如何。可观测性设计包含三个维度：

# 可观测性集成示例：Prometheus 客户端暴露剧本指标
from prometheus_client import Counter, Histogram, start_http_server
import time

HEALING_COUNTER = Counter(
    'self_healing_total', '自愈剧本执行总数',
    ['exporter', 'action', 'status']
)
HEALING_DURATION = Histogram(
    'self_healing_duration_seconds', '自愈剧本执行耗时',
    ['exporter', 'action']
)

def run_healing_script(exporter_name: str):
    with HEALING_DURATION.labels(exporter=exporter_name, action="restart").time():
        try:
            # 执行自愈逻辑
            restart_exporter()
            HEALING_COUNTER.labels(exporter=exporter_name, action="restart", status="success").inc()
        except Exception:
            HEALING_COUNTER.labels(exporter=exporter_name, action="restart", status="failed").inc()
            raise

4.5 回滚机制：快速恢复的保险丝

回滚机制是自愈剧本的最后一道防线。当剧本执行导致 Exporter 状态恶化时，必须能快速恢复到上一个稳定版本。设计要点：

• 版本化备份： 每次变更前备份配置文件和二进制文件，备份命名包含版本号和时间戳。
• 回滚触发器： 设置健康检查超时阈值，超过阈值自动触发回滚。
• 灰度回滚： 对于多实例部署，先回滚一个实例验证，确认正常后再批量回滚。

# 回滚机制示例：保留最近 3 个版本
import glob
import os

BACKUP_ROOT = "/data/exporter_backups"
MAX_BACKUPS = 3

def create_backup(exporter_name: str, version: str):
    backup_dir = f"{BACKUP_ROOT}/{exporter_name}/{version}_{int(time.time())}"
    os.makedirs(backup_dir, exist_ok=True)
    shutil.copy("/etc/node_exporter/config.yaml", backup_dir)
    # 清理旧备份
    backups = sorted(glob.glob(f"{BACKUP_ROOT}/{exporter_name}/*"))
    while len(backups) > MAX_BACKUPS:
        shutil.rmtree(backups.pop(0))

def rollback_to_latest(exporter_name: str):
    backups = sorted(glob.glob(f"{BACKUP_ROOT}/{exporter_name}/*"))
    if not backups:
        raise FileNotFoundError("无可用备份")
    latest = backups[-1]
    shutil.copy(f"{latest}/config.yaml", "/etc/node_exporter/config.yaml")
    subprocess.run(["systemctl", "restart", "node_exporter"], check=True)

4.6 安全边界：最小权限与输入校验

自愈剧本通常需要一定的系统权限来操作 Exporter，但权限过大可能带来安全风险。安全边界设计原则：

• 专用运行用户： 创建 self-healing 系统用户，仅授予 Exporter 相关目录的读写权限和 systemctl 的 sudo 权限。
• 输入消毒： 所有来自外部（告警回调、API 请求）的参数必须校验类型、长度、字符白名单。
• 敏感信息保护： 剧本中涉及的 、密码使用 Vault 或环境变量注入，禁止硬编码。

# 安全边界示例：输入校验与权限控制
import re

ALLOWED_EXPORTERS = {"node_exporter", "blackbox_exporter", "cadvisor"}

def validate_exporter_name(name: str) -> bool:
    """只允许字母、数字、下划线，且必须在白名单内"""
    if not re.match(r'^[a-zA-Z0-9_]+$', name):
        return False
    return name in ALLOWED_EXPORTERS

def run_with_limited_privileges(command: list):
    """使用 sudo -u self-healing 执行"""
    full_cmd = ["sudo", "-u", "self-healing"] + command
    subprocess.run(full_cmd, check=True)

4.7 五原则协同架构

下图展示了五个原则在自愈剧本执行流程中的协同关系：

4.8 原则冲突与权衡

在实际设计中，五个原则之间可能存在冲突，需要根据场景进行权衡：