📚 课程目录第3章混沌工程基础

3. 混沌工程基础：混沌工程原则、实验假设、稳态定义

混沌工程是一门在分布式系统上进行实验的学科，旨在建立对系统抵御生产环境中混乱条件能力的信心。其核心并非制造随机破坏，而是通过受控的实验，系统性地揭示系统弱点。理解其基本原则、实验假设与稳态定义，是构建有效基线核验环境的理论基石。

混沌工程遵循一套严谨的原则，确保实验的科学性与安全性。这些原则将混沌实验与随意的“破坏测试”区分开来。

原则	核心描述	基线核验环境中的实践意义
1. 建立稳态假设	定义系统可衡量的正常行为输出指标（如延迟、吞吐量、错误率）。	为基线环境设定明确的“正常”性能阈值，作为实验的参照系。
2. 多样化现实世界事件	实验应覆盖网络分区、资源耗尽、硬件故障、流量突增等真实生产环境可能发生的事件。	配置参数需能模拟多种故障类型，确保基线环境覆盖关键风险场景。
3. 在生产环境中运行	虽然理想目标是生产环境，但基线核验环境作为高保真预生产环境，应尽可能模拟生产流量与数据特征。	基线环境的配置参数（如流量模型、数据规模）必须与生产环境对齐。
4. 自动化持续运行实验	混沌实验应集成到CI/CD流水线中，实现持续验证，而非一次性活动。	基线核验环境的参数配置需支持自动化编排与重复执行。
5. 最小化爆炸半径	实验应设计有熔断机制和影响范围控制，避免对真实用户或数据造成不可逆影响。	环境配置中必须包含实验边界定义、资源隔离与快速回滚策略。

关键提示： 在基线核验环境中，原则1（稳态假设）和原则5（最小化爆炸半径）是参数配置的优先关注点。稳态假设决定了监控指标的采集粒度，而爆炸半径决定了实验对象的隔离级别与资源配额。

混沌工程的核心是验证假设，而非制造破坏。一个完整的混沌实验围绕一个明确的假设展开，该假设描述了系统在承受特定扰动时应有的行为。

实验假设的结构：

条件（Condition）： 施加的特定故障或压力事件。例如：“对订单服务实例注入50%的CPU负载”。
预期行为（Expected Behavior）： 系统在故障下应表现出的可观测状态。例如：“订单创建接口的P99延迟仍低于500ms，且无5xx错误”。
稳态指标（Steady-State Metric）： 用于量化预期行为的具体指标。例如：“订单创建接口P99延迟”、“订单服务错误率”。

  假设示例：

  “假设在订单服务的2个Pod被网络延迟注入100ms的条件下，由于客户端重试机制和服务降级策略的存在，全局订单成功率仍能维持在99.9%以上，且P99延迟不超过1s。”

在基线核验环境中，实验假设直接驱动参数配置。例如，上述假设要求环境必须配置：

稳态（Steady State）是系统在正常生产负载下表现出的、可重复的、可衡量的行为模式。它不是一个静态快照，而是一个动态的、在可接受范围内波动的状态。

稳态定义的关键要素：

常见误区： 将“系统无报错”等同于稳态。稳态必须包含性能指标（如延迟、吞吐量）和资源饱和度（如CPU、内存、连接池）。一个无报错但延迟飙升的系统，其稳态已被破坏。

下图展示了稳态定义在混沌实验中的核心位置，它既是实验的起点（定义正常），也是实验的终点（判断是否偏离）。

在基线核验环境中，稳态定义直接决定了需要采集哪些指标，以及如何配置监控与告警参数。下表展示了常见稳态指标与对应配置项的映射关系。

稳态指标类别	具体指标示例	基线环境参数配置项	混沌实验验证点
业务速率	订单创建QPS、支付成功率	Prometheus 指标采集频率、Grafana 仪表盘阈值	故障注入后QPS是否跌零
服务延迟	P50/P99/P999 响应时间	链路追踪采样率、日志聚合延迟分位配置	延迟是否超出SLO定义
资源饱和度	CPU利用率、内存使用率、连接池占用	资源监控Agent采集粒度、告警触发阈值	资源耗尽前系统是否触发限流/降级
错误率	HTTP 5xx比例、业务异常码比例	错误日志采集规则、告警静默期配置	错误率是否在预期范围内

  基线核验环境配置建议：

  在配置基线环境参数时，应首先完成稳态指标的“基线采集”阶段（通常持续24-72小时），获取无故障状态下的指标波动范围。此范围将作为后续混沌实验的“稳态窗口”，任何超出窗口的指标变化都应被视为实验假设被证伪。