3. on-call 自动化工具链：常见工具介绍与选型原则

值班环境基线核验与移植适配的自动化落地，依赖一套紧密协作的工具链。本章聚焦四类核心工具——配置管理、基础设施编排、持续集成/持续部署、监控告警，并给出面向 on-call 场景的选型决策框架。

3.1 配置管理：Ansible

Ansible 是当前运维领域使用最广泛的无代理配置管理工具，通过 SSH 协议执行模块化任务。在 on-call 基线核验中，Ansible 负责对目标主机进行一次性或周期性的配置扫描与修复。

# 示例：核验 /etc/ssh/sshd_config 中 PermitRootLogin 是否为 no
- name: 基线核验 - SSH 安全配置
  hosts: all
  tasks:
    - name: 检查 PermitRootLogin 配置
      ansible.builtin.lineinfile:
        path: /etc/ssh/sshd_config
        regexp: '^PermitRootLogin'
        line: 'PermitRootLogin no'
        state: present
      check_mode: yes
      register: ssh_check

    - name: 输出核验结果
      ansible.builtin.debug:
        msg: "基线偏离：{{ ssh_check.changed | ternary('是', '否') }}"

3.2 基础设施编排：Terraform

Terraform 是 基础设施即代码 的事实标准，通过声明式 HCL 语言管理云资源、网络设备、DNS 等。在 on-call 自动化中，Terraform 负责环境基线的基础设施层核验与移植适配。

• 状态管理：通过 terraform plan 对比当前状态与基线状态，输出差异清单。
• 模块化：将 VPC、安全组、IAM 等基线封装为可复用模块，实现跨环境移植。
• Provider 生态：覆盖 AWS、Azure、GCP、OpenStack 及各类 SaaS 服务。

3.3 持续集成/持续部署：Jenkins

Jenkins 作为 CI/CD 领域的成熟引擎，在 on-call 自动化工具链中承担调度中枢角色。它将 Ansible 的配置核验、Terraform 的基础设施扫描、Prometheus 的告警触发串联为自动化流水线。

// Jenkinsfile 片段：告警驱动的自动核验流水线
pipeline {
    agent any
    parameters {
        string(name: 'ALERT_HOST', description: '触发告警的主机 IP')
    }
    stages {
        stage('基线核验') {
            steps {
                ansiblePlaybook(
                    playbook: 'baseline-check.yml',
                    inventory: 'inventory/hosts',
                    extras: '-e "target_host=${params.ALERT_HOST}"'
                )
            }
        }
        stage('自动修复') {
            when { expression { return currentBuild.result == 'UNSTABLE' } }
            steps {
                ansiblePlaybook(
                    playbook: 'baseline-fix.yml',
                    inventory: 'inventory/hosts',
                    extras: '-e "target_host=${params.ALERT_HOST}"'
                )
            }
        }
    }
}

3.4 监控与告警：Prometheus

Prometheus 是云原生监控的基石，其拉取模型与多维数据模型天然适合 on-call 场景的基线持续核验。通过 PromQL 表达式，可以实时判断环境是否偏离基线。

• 基线指标采集：使用 Node Exporter、Blackbox Exporter 等采集 CPU、内存、磁盘、网络、证书过期等基线指标。
• 告警规则：将基线阈值定义为 Prometheus 告警规则，偏离即触发告警。
• Alertmanager：负责告警去重、分组、静默，并路由到 Jenkins Webhook 或值班通知渠道。

# 示例：磁盘使用率基线告警规则
groups:
  - name: baseline_alerts
    rules:
      - alert: DiskUsageExceedBaseline
        expr: (1 - (node_filesystem_avail_bytes{fstype!="tmpfs"} / node_filesystem_size_bytes{fstype!="tmpfs"})) * 100 > 85
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "磁盘使用率超过基线 (当前值: {{ $value }}%)"

3.5 工具选型原则

在 on-call 自动化工具链中，选型不能仅看功能列表，必须结合值班场景的实时性、可靠性、可维护性进行决策。以下为经过生产验证的选型原则：

3.6 工具链集成要点

在完成单工具选型后，需关注以下集成要点以确保工具链在 on-call 场景下稳定运行：

• 凭证管理：使用 HashiCorp Vault 或 Jenkins Credentials 统一管理 SSH 密钥、云厂商 AK/SK、Webhook ，避免明文硬编码。
• 幂等重试：Jenkins 流水线中为 Ansible/Terraform 执行步骤添加重试逻辑（如 retry(3)），应对网络抖动或临时资源锁。
• 审计日志：所有自动化操作（核验、修复、回滚）均输出结构化日志，写入 Elasticsearch 或 Splunk，便于事后回溯。
• 熔断机制：当同一主机在 1 小时内被自动修复超过 3 次，自动暂停该主机的自动化流程并升级为 P0 工单，避免陷入修复死循环。