2. 可靠性评审基础:评审流程、评审角色、评审输出物(基线文档)

可靠性评审是混沌工程基线核验的“守门人”。在正式注入故障前,必须通过结构化的评审机制确认:环境配置是否满足基线要求、参数配置是否与生产特征对齐、监控埋点是否完整。本章定义评审的三要素:流程(何时做)、角色(谁来做)、输出物(留下什么)。

2.1 评审流程:三阶段五节点

可靠性评审采用“预审-正式评审-复审”三阶段模型,覆盖从环境准备到基线冻结的完整链路。每个阶段包含明确的入口条件和出口标准。

关键原则:评审不通过,基线不冻结;基线不冻结,混沌实验不启动。
可靠性评审三阶段五节点流程 阶段一:预审 节点1:环境就绪检查 阶段二:正式评审 节点2:参数核验 节点3:基线对齐 阶段三:复审 节点4:基线冻结确认 输出物:基线文档 v1.0(冻结)

2.2 评审角色与职责

评审角色分为决策层、执行层和质量层三层,每层角色在评审中承担不同职责。角色缺失或职责混淆是评审失效的首要原因。

角色 所属层级 核心职责 评审中的关键动作
评审主席 决策层 把控评审节奏,裁决争议 宣布评审结论(通过/有条件通过/不通过)
可靠性架构师 决策层 审核基线完整性,确认故障模型覆盖度 签署基线文档的“架构合规”章节
环境配置工程师 执行层 提供环境配置清单,演示环境就绪状态 回答预审阶段的环境检查项
参数配置工程师 执行层 展示参数配置表,解释参数取值依据 在正式评审中逐项核验参数
测试代表 质量层 验证监控埋点,确认可观测性 提供监控覆盖度报告
记录员 质量层 记录评审决议、待办项、风险项 输出评审纪要,跟踪待办闭环
实践建议:评审主席不应由环境或参数配置工程师兼任,避免“既当运动员又当裁判员”。建议由不直接参与环境搭建的可靠性架构师或技术经理担任。

2.3 评审输出物:基线文档体系

评审的最终输出物是基线文档,它不仅是混沌实验的输入,更是环境与参数配置的“法律依据”。基线文档包含三个核心子文档,分别对应环境、参数和监控三个维度。

2.3.1 基线文档结构

基线文档体系结构 基线文档 v1.0 环境基线配置表 参数基线配置表 监控基线配置表 包含内容 • 硬件规格(CPU/内存/磁盘) • 网络拓扑与带宽 • 中间件版本与集群规模 • 操作系统内核参数 包含内容 • 超时/重试/熔断阈值 • 连接池/线程池大小 • 限流速率与队列深度 • 日志级别与采样率 包含内容 • 指标采集端点与周期 • 告警规则与阈值 • 链路追踪采样策略 • 日志聚合配置

2.3.2 基线文档的评审通过标准

每个子文档在评审中必须满足以下通过标准,否则基线文档不予冻结:

  • 环境基线配置表:所有硬件规格与生产环境偏差 ≤ 5%(CPU 核数、内存大小、磁盘 IOPS);网络拓扑与生产环境一致;中间件版本号精确匹配。
  • 参数基线配置表:每个参数必须有取值依据(生产值、压测值、理论计算值);参数变更历史可追溯;无未注释的“魔法数字”。
  • 监控基线配置表:监控覆盖度 ≥ 95%(按预定义监控项清单计算);告警阈值与 SLO 对齐;链路追踪采样率 ≥ 1%(生产环境不低于 1%)。
常见评审失败原因:
  1. 环境基线中遗漏了关键中间件版本(如 Redis 6.2 误配为 6.0)。
  2. 参数基线中使用了“与生产一致”但未提供生产实际值的模糊描述。
  3. 监控基线中告警阈值设置为默认值,未根据历史故障数据调整。

2.4 评审输出物的版本管理

基线文档通过评审后进入冻结状态,任何变更必须触发变更评审流程。版本管理规则如下:

版本状态 说明 允许的操作 触发条件
草稿 评审前准备阶段 编辑、更新、删除 环境/参数首次配置完成
已评审 通过正式评审 只读(可查阅不可修改) 评审主席签署通过
已冻结 基线锁定,混沌实验依赖此版本 只读,变更需走变更评审 复审通过,所有待办项关闭
已废弃 被新版本替代 归档,不可用于实验 新基线文档通过评审并冻结
版本管理工具建议:使用 Git 管理基线文档,每个评审节点打 Tag(如 baseline-v1.0-reviewed、baseline-v1.0-frozen),确保版本可追溯、可回滚。

2.5 评审效率指标

为持续改进评审质量,建议跟踪以下指标:

  • 评审周期:从预审申请到基线冻结的总时长,目标 ≤ 5 个工作日。
  • 一次通过率:无需重大修改即通过正式评审的比例,目标 ≥ 80%。
  • 待办项关闭率:评审中提出的待办项在复审前关闭的比例,目标 100%。
  • 评审缺陷密度:每份基线文档发现的配置错误数,用于评估配置质量。

以上指标应在每次评审后由记录员更新至评审看板,作为下一轮评审的输入。