4. 演练场景设计：容量突增触发条件、模拟故障注入方法、演练流程与安全护栏

多租户故障域隔离演练的核心在于验证当某个租户或共享组件遭遇容量突增时，监控水位能否提前预警，以及隔离策略是否生效。本章节将详细拆解演练场景的三大要素：触发条件、故障注入方法以及标准化演练流程，并配套安全护栏机制，确保演练在可控范围内进行。

4.1 容量突增触发条件设计

触发条件需模拟真实生产中的突发流量或资源争抢场景。根据多租户架构特点，我们将触发条件分为以下三类：

4.2 模拟故障注入方法

故障注入工具选择需兼顾安全性与可观测性。推荐使用 Chaos Mesh 或 Litmus 作为注入引擎，配合自定义脚本实现精准控制。以下是三种核心注入方法：

• HTTP 流量注入：使用 vegeta 或 wrk2 对指定租户的 API 端点发起持续压力，支持设置 RPS 曲线（线性增长/阶梯增长）。
• 资源耗尽注入：通过 stress-ng 或 chaos-mesh 的 StressChaos 对目标 Pod 或节点注入 CPU/内存压力，模拟共享资源争抢。
• 网络延迟/丢包注入：使用 tc 命令或 NetworkChaos 对特定租户的网络路径增加延迟（如 +200ms）或丢包率（如 5%），观察对上游水位的影响。

# 示例：使用 vegeta 对租户 A 进行阶梯式压力注入
echo "GET http://api.example.com/tenant-a/orders" | \
  vegeta attack \
    -rate=1000/1s \
    -duration=30s \
    -max-workers=50 \
    -laddr=10.0.0.1 \
    | vegeta report --type=text

# 示例：使用 chaos-mesh 注入 CPU 压力
kubectl apply -f - <<EOF
apiVersion: chaos-mesh.org/v1alpha1
kind: StressChaos
metadata:
  name: cpu-stress-tenant-b
  namespace: chaos-engineering
spec:
  mode: one
  selector:
    namespaces: ["tenant-b-prod"]
    labelSelectors:
      app: "web-server"
  stressors:
    cpu:
      workers: 4
      load: 80
  duration: "5m"
EOF

4.3 演练流程与安全护栏

演练流程必须遵循计划-执行-观测-回滚的闭环。安全护栏是演练的生命线，任何演练都必须预设熔断条件。

4.3.1 标准化演练流程

1. 准备阶段：确认演练目标、选定隔离域（如租户 A 的 Pod 组）、备份 Grafana 基线仪表盘、通知相关团队。
2. 预检阶段：执行 dry-run 模式，检查注入工具与监控数据通路是否正常，确保告警规则已激活。
3. 注入阶段：按预设阶梯逐步增加压力，每阶段持续 2-3 分钟，记录 Grafana 水位变化。
4. 观测阶段：实时观察 Grafana 仪表盘中的租户隔离指标（如租户 CPU 限额使用率、共享连接池排队数）是否超出预测水位线。
5. 回滚阶段：达到熔断条件或演练时间结束，立即停止注入，执行恢复脚本，验证系统回归基线。

4.3.2 演练流程可视化

下图展示了演练从准备到回滚的完整流程，以及安全护栏在注入阶段的监控位置：

4.4 演练场景参数清单

为便于执行，我们将上述设计汇总为可复用的参数清单，供演练脚本直接引用：