3、基线核验理论基础
3.1 什么是系统基线
系统基线（System Baseline）是指在特定负载条件下，系统各项可观测指标在稳定运行时的参考值集合。它并非单一数值，而是一个包含均值、标准差、百分位分布及时间序列模式的多维参考模型。
基线通常覆盖以下维度：
- 性能基线：响应时间、吞吐量、并发连接数、请求延迟分布（P50/P95/P99）。
- 资源基线：CPU 使用率、内存占用、磁盘 I/O 吞吐、网络带宽利用率。
- 可用性基线：服务健康检查成功率、错误率、熔断/降级触发频率。
- 业务基线：订单转化率、支付成功率、用户会话时长等业务 KPI。
实践要点：基线不是静态快照，而是随时间演进的动态参考。建议按业务周期（如日常/促销/大促）分别建立基线模型，避免单一基线覆盖所有场景。
3.2 为什么需要基线核验
在混沌工程实践中，基线核验是故障注入前的必要前提。没有基线，故障注入后的观测数据将失去参照系，无法判断系统行为是否异常。具体原因包括：
- 提供比较基准：只有知道系统在正常状态下的表现，才能量化故障注入造成的影响。
- 消除环境噪声：生产环境存在大量正常波动（如定时任务、流量毛刺），基线帮助区分噪声与真实故障。
- 验证实验有效性：若实验前后基线发生漂移，说明实验控制变量失效，结果不可信。
- 支撑自动化决策：基线阈值是自动回滚、告警触发、实验终止等策略的输入条件。
核心原则：基线核验不是一次性动作，而是每次混沌实验前必须执行的标准化步骤。建议将基线采集与核验纳入实验编排的自动化流水线。
3.3 基线漂移与故障检测的关系
基线漂移（Baseline Drift）是指系统在未注入故障的情况下，观测指标逐渐偏离历史基线范围的现象。漂移可能由以下原因引起：
- 基础设施变更：硬件升级、网络拓扑调整、云资源规格变化。
- 软件版本迭代：代码重构、依赖库升级、配置参数修改。
- 负载模式变化：用户行为迁移、流量模型改变、数据规模增长。
- 环境因素：季节性波动、促销活动、外部依赖服务变化。
基线漂移与故障检测之间存在双向影响：
| 关系维度 | 说明 | 工程影响 |
|---|---|---|
| 漂移掩盖故障 | 基线向上漂移后，故障导致的指标变化可能落在新基线范围内，导致漏检 | 需定期校准基线，避免使用过期基线作为故障检测阈值 |
| 漂移误报故障 | 基线向下漂移后，正常波动可能超出旧基线范围，触发大量误告警 | 引入动态基线算法，根据时间窗口自动调整阈值 |
| 故障加速漂移 | 慢性故障（如内存泄漏）会持续推高资源指标，表现为渐进式基线漂移 | 将漂移速率作为故障检测的辅助特征，识别慢性故障 |
| 漂移指示故障 | 突发性漂移本身可能是故障的早期信号（如连接池耗尽前的响应时间爬升） | 将漂移检测纳入混沌实验的观测指标集 |
3.4 核验指标分类
基线核验指标按观测层次和用途可分为以下四大类。每类指标在混沌实验中承担不同的核验职责：
| 分类 | 典型指标 | 核验目的 | 采集频率 |
|---|---|---|---|
| 黄金信号指标 | 延迟（Latency）、流量（Traffic）、错误（Errors）、饱和度（Saturation） | 快速判断系统整体健康状态，作为实验通过/失败的首要判据 | 高频率（秒级） |
| 资源饱和度指标 | CPU 使用率、内存占用率、磁盘队列深度、网络丢包率 | 识别资源瓶颈是否被故障注入触发，辅助定位根因 | 中频率（5-10秒） |
| 依赖健康指标 | 数据库连接池使用率、缓存命中率、下游服务响应时间、消息队列积压量 | 验证故障注入是否按预期影响依赖链路，检测级联效应 | 中频率（10-30秒） |
| 业务连续性指标 | 请求成功率、业务完成率、数据一致性校验通过率、SLA 达标率 | 从用户视角验证系统是否仍能提供正确服务 | 低频率（分钟级） |
常见误区：不要只关注技术指标而忽略业务指标。技术指标正常不代表业务正常（例如：缓存穿透导致数据库压力增大，但响应时间可能仍在基线内，而订单成功率已开始下降）。建议将业务连续性指标作为核验的最终判据。
在实际工程中，核验指标的选择应遵循 MECE 原则（Mutually Exclusive, Collectively Exhaustive，相互独立，完全穷尽），确保每个故障场景都有对应的核验指标覆盖，同时避免指标冗余导致核验效率下降。建议为每个混沌实验场景建立一张指标-场景映射矩阵：
# 指标-场景映射矩阵示例（YAML 格式）
experiment_scenarios:
- name: "网络延迟注入"
verification_indicators:
gold_signals: ["p99_latency", "error_rate"]
resource: ["network_bandwidth_utilization"]
dependency: ["downstream_p99_latency"]
business: ["request_success_rate"]
- name: "CPU 资源耗尽"
verification_indicators:
gold_signals: ["p99_latency", "throughput"]
resource: ["cpu_utilization", "load_average"]
dependency: ["db_connection_pool_usage"]
business: ["business_completion_rate"]