4. 环境准备：生产环境与测试环境的差异分析、隔离策略、监控基础设施搭建

混沌工程的核心原则是“在生产环境或与生产环境高度一致的类生产环境中进行实验”。本章将系统分析生产环境与测试环境的本质差异，阐述有效的隔离策略，并指导搭建支撑混沌实验的监控基础设施。

4.1 生产环境与测试环境的差异分析

理解环境差异是设计有效隔离策略和避免误判的前提。以下从六个关键维度进行对比：

4.2 隔离策略：保障生产安全的四道防线

在生产环境执行混沌实验时，必须通过隔离策略将爆炸半径控制在预设范围内。以下是推荐的隔离策略体系：

1. 业务隔离： 实验仅针对非核心业务或核心业务的冗余实例。使用标签选择器（如 Kubernetes Label Selector）限定实验目标。
2. 流量隔离： 实验期间，通过染色标记将特定用户或请求路由至实验组实例，对照组实例保持正常处理。
3. 时间隔离： 实验窗口选择在业务低峰期，并设置硬性截止时间（Hard Deadline），超时自动回滚。
4. 熔断隔离： 实验平台内置全局熔断开关，当监控指标（如错误率、P99 延迟）超过预设阈值时，自动终止实验并执行恢复动作。

4.3 监控基础设施搭建

没有可观测性，混沌实验就是盲人摸象。监控基础设施需要覆盖指标（Metrics）、日志（Logs）、链路追踪（Traces）三大支柱，并具备秒级数据采集和实时告警能力。

4.3.1 监控体系分层架构

以下架构图展示了混沌实验所需的完整监控栈：

4.3.2 关键监控指标清单

混沌实验基线核验阶段，以下指标必须纳入实时监控：

4.3.3 监控基础设施搭建清单

以下为最小化可用的监控基础设施搭建步骤：

# 1. 部署 Prometheus + Node Exporter（指标采集）
kubectl create namespace chaos-monitoring
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm install prometheus prometheus-community/kube-prometheus-stack \
  --namespace chaos-monitoring \
  --set grafana.enabled=true \
  --set alertmanager.enabled=true

# 2. 部署 OpenTelemetry Collector（链路与指标统一采集）
kubectl apply -f - <<EOF
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
  name: chaos-otel-collector
  namespace: chaos-monitoring
spec:
  config: |
    receivers:
      otlp:
        protocols:
          grpc:
          http:
    exporters:
      prometheus:
        endpoint: "0.0.0.0:8889"
      jaeger:
        endpoint: "jaeger-collector:14250"
        tls:
          insecure: true
    service:
      pipelines:
        metrics:
          receivers: [otlp]
          exporters: [prometheus]
        traces:
          receivers: [otlp]
          exporters: [jaeger]
EOF

# 3. 配置 Grafana 混沌实验看板
# 导入预置看板 ID：混沌工程基线核验模板（自定义 JSON）
# 关键面板：实验指标对比（实验组 vs 对照组）、熔断状态、爆炸半径

# 4. 配置 Alertmanager 熔断规则
kubectl apply -f - <<EOF
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: chaos-fuse-rules
  namespace: chaos-monitoring
spec:
  groups:
  - name: chaos-fuse
    rules:
    - alert: ChaosExperimentFuse
      expr: |
        (rate(http_requests_total{status=~"5.."}[1m]) / rate(http_requests_total[1m])) > 0.05
      for: 30s
      labels:
        severity: critical
      annotations:
        summary: "混沌实验熔断触发 - 错误率超过 5%"
EOF

4.4 环境准备核验清单

在开始任何混沌实验之前，请逐项确认以下环境准备条件：

• ☐ 环境确认： 实验目标环境为生产环境或生产镜像环境，且已通过环境一致性审计。
• ☐ 隔离策略生效： 业务隔离标签、流量染色、时间窗口、熔断阈值均已配置并验证。
• ☐ 监控覆盖： 所有实验涉及的服务、中间件、基础设施均已接入 Prometheus 和链路追踪。
• ☐ 告警通道： 熔断告警已对接即时通讯工具（如钉钉/飞书/企业微信），并指定了值班响应人。
• ☐ 回滚预案： 实验恢复剧本已编写并测试，确保可在 1 分钟内完成全量回滚。