2. 故障注入基础：故障注入类型与工具选型

故障注入是混沌工程的执行引擎。没有精准的故障注入，基线核验与根因定位便无从谈起。本章聚焦故障注入的三大核心维度：故障类型分类、注入工具选型对比，以及工具与场景的匹配策略。掌握这些基础，才能在实际演练中做到“指哪打哪”。

2.1 故障注入类型全景

按攻击目标与资源维度，故障注入可分为四大类：网络、计算、存储、压力。每一类下又有若干子类型，覆盖了生产环境中绝大部分异常场景。

2.1.1 网络故障

网络是分布式系统的命脉，也是故障注入最频繁的领域。常见子类型包括：

• 延迟注入：模拟网络链路拥塞、跨区域传输延迟，常用于验证超时重试、熔断降级逻辑。
• 丢包注入：模拟网络不稳定或交换机丢包，检验TCP重传与消息队列的可靠性。
• 分区/切断：模拟节点间网络完全中断，验证集群脑裂保护、Leader选举机制。
• 带宽限制：模拟带宽被抢占或限流，检验服务质量（QoS）与流量整形策略。
• DNS故障：模拟DNS解析失败或返回错误IP，验证服务发现与缓存降级。

2.1.2 计算故障

针对CPU与进程资源的异常模拟，主要验证资源隔离与进程管理能力。

• CPU满载：模拟计算密集型任务抢占CPU，验证CPU限流与调度策略。
• 进程终止：Kill关键进程（如Sidecar、Agent、应用主进程），验证进程守护与自动恢复。
• 线程死锁：模拟线程资源竞争导致死锁，验证Deadlock检测与线程Dump分析能力。
• 内存溢出：模拟OOM（Out Of Memory）场景，验证内存限制与GC调优效果。

2.1.3 存储故障

存储故障直接影响数据持久化与状态一致性，是混沌工程中风险最高的注入类型。

• 磁盘IO延迟：模拟磁盘性能下降，验证IO超时与降级读策略。
• 磁盘空间满：模拟日志或数据文件写满磁盘，验证磁盘告警与自动清理机制。
• 文件权限异常：模拟文件只读或无法访问，验证权限检查与异常处理。
• 数据损坏：模拟文件内容被篡改或校验失败，验证数据完整性校验与恢复流程。

2.1.4 压力故障

压力故障通过模拟流量突增或资源耗尽来触发系统瓶颈，属于“非破坏性”但高强度的注入。

• 流量突增：模拟秒杀、热点事件带来的瞬时流量，验证自动扩缩容与限流效果。
• 连接数耗尽：模拟大量TCP连接未释放，验证连接池管理与超时回收。
• 请求重放：模拟重复请求或幂等性破坏，验证幂等校验与去重逻辑。

2.2 故障注入工具选型

当前社区与商业领域主流的故障注入工具有三款：ChaosBlade、Litmus、Gremlin。它们各有侧重，选型时需结合团队技术栈、环境复杂度与运维成熟度综合判断。

2.2.1 ChaosBlade

由阿里云开源的故障注入工具，支持丰富的故障类型，尤其擅长对Java应用和Kubernetes环境的注入。其核心优势在于：

• 多语言支持：Java、C++、Node.js等应用级故障注入。
• Kubernetes原生：支持Pod、Node、Container级别的资源故障。
• 命令行友好：通过blade create命令快速执行，适合自动化集成。
• 实验编排：支持通过YAML定义实验场景，便于版本管理。

# ChaosBlade 示例：对目标Pod注入网络延迟30ms，持续60秒
blade create k8s pod-network delay --time 30 --offset 10 \
  --namespace default --labels app=nginx --duration 60s

2.2.2 Litmus

由MayaData开源的云原生混沌工程平台，深度集成Kubernetes，强调“实验即代码”。核心特点：

• CRD驱动：所有实验定义为Kubernetes自定义资源（ChaosExperiment、ChaosEngine），天然适配GitOps。
• Hub生态：提供公共实验市场（ChaosHub），可直接复用社区已验证的场景。
• 结果管理：内置实验结果的持久化与可视化，便于基线核验。
• 多集群支持：可通过Litmus Control Plane管理多个Kubernetes集群的实验。

# Litmus 实验YAML示例：Pod删除实验
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: pod-delete-engine
spec:
  appinfo:
    appns: 'default'
    applabel: 'app=nginx'
  experiments:
    - name: pod-delete
      spec:
        duration: 30s

2.2.3 Gremlin

商业级故障注入平台，提供企业级的安全管控与可视化能力。核心优势：

• 安全护栏：内置爆炸半径控制、审批流程、自动回滚，适合生产环境。
• 多环境支持：覆盖物理机、虚拟机、容器、Kubernetes、云服务。
• 攻击库丰富：预置超过30种攻击类型，包括网络、计算、存储、状态、DNS等。
• 报告与审计：自动生成实验报告，满足合规与审计需求。

# Gremlin CLI 示例：对目标主机注入CPU满载，持续120秒
gremlin attack cpu --length 120 --capacity 100 \
  --target host --target-name web-server-01

2.3 工具选型对比矩阵

2.4 故障注入工具架构与执行流程

下图展示了故障注入工具在混沌工程实验中的通用架构与执行流程。无论使用哪款工具，其核心逻辑都遵循“定义实验 → 注入故障 → 观测指标 → 恢复/回滚”的闭环。

2.5 工具选型与故障类型的匹配策略

在实际项目中，没有一款工具能完美覆盖所有场景。以下策略可帮助团队快速决策：

1. 按环境匹配：Kubernetes环境优先Litmus或ChaosBlade的k8s模式；传统VM/物理机环境优先ChaosBlade或Gremlin。
2. 按故障类型匹配：网络故障三款工具均支持良好；计算故障中ChaosBlade对Java应用支持最深；存储故障Gremlin的“黑盒”攻击更安全。
3. 按团队能力匹配：SRE团队可接受Litmus的CRD学习成本；DevOps团队更适合ChaosBlade的CLI快速上手；合规要求高的企业直接选Gremlin。
4. 按集成深度匹配：需要与CI/CD流水线深度集成时，ChaosBlade的CLI和Litmus的GitOps模式更易嵌入；Gremlin的API集成需要商业许可。