3. 发布准入流程设计：变更管理规范、发布前检查清单、灰度发布策略、回滚机制
日志检索工程作为核心可观测性基础设施，其发布变更直接影响全链路诊断与告警能力。发布准入流程必须将“变更风险”与“检索连续性”作为双核心控制目标。本节从变更管理规范、发布前检查清单、灰度发布策略、回滚机制四个维度，构建可执行、可度量的发布准入体系。
3.1 变更管理规范
变更管理规范定义了日志检索服务从“代码提交”到“全量上线”的标准化流程与角色职责。所有变更必须经过分类、审批、窗口期控制与变更记录归档四个阶段。
| 阶段 | 输入 | 输出 | 角色 | 关键动作 |
|---|---|---|---|---|
| 变更分类 | PR / MR 描述 | 变更类型标签 | 开发工程师 | 标记为 P0/P1/P2；P0 为数据面变更（索引模板、查询路由） |
| 变更审批 | 变更类型 + 影响域 | 审批通过/驳回 | SRE 值班 + 技术负责人 | P0 变更需双人审批；P1 变更需 SRE 审批 |
| 窗口期控制 | 审批通过时间 | 发布窗口排期 | 发布经理 | P0 变更仅限业务低峰期窗口（如 02:00-05:00） |
| 变更记录 | 发布结果 + 监控快照 | 变更归档日志 | 自动化平台 | 写入变更数据库，关联工单号与监控指标基线 |
变更分类速查表：P0（索引模板变更、查询路由变更、集群扩缩容）→ 必须灰度 + 双人审批；P1（查询语法优化、告警阈值调整）→ 灰度可选 + 单人审批；P2（文档更新、非功能性配置）→ 可直接发布。
3.2 发布前检查清单
发布前检查清单是防止“带病上线”的最后一道防线。清单分为静态检查（代码与配置）与动态检查（环境与依赖）两类，每项检查必须输出通过/失败状态，失败项阻塞发布。
检查清单自动化建议：将静态检查集成到 CI 流水线（如 GitLab CI / GitHub Actions），动态检查集成到发布编排引擎（如 Spinnaker / Argo Rollouts）。检查结果通过 Webhook 回写至变更管理平台，实现“检查不通过，发布不触发”。
3.3 灰度发布策略
日志检索服务的灰度发布必须兼顾查询流量与写入流量两个维度。推荐采用“实例级灰度 + 流量权重控制”的组合策略，分四步完成全量上线。
- 金丝雀发布（Canary）：选取 1 个副本实例，注入 1% 的查询流量与 1% 的写入流量，观察 15 分钟。
- 小范围灰度：扩展至 10% 的实例（至少 2 个副本），注入 10% 流量，观察 30 分钟。
- 半量发布：扩展至 50% 实例，注入 50% 流量，观察 60 分钟。
- 全量发布：100% 实例上线，持续观察 120 分钟后关闭灰度标记。
| 灰度阶段 | 实例比例 | 流量比例 | 观察窗口 | 关键监控指标 |
|---|---|---|---|---|
| 金丝雀 | 1 个实例 | 1% | 15 min | 查询延迟 P99、写入拒绝率 |
| 小范围 | 10% | 10% | 30 min | 错误率、CPU 使用率变化 |
| 半量 | 50% | 50% | 60 min | 磁盘 IO、GC 暂停时间 |
| 全量 | 100% | 100% | 120 min | 全局聚合指标 + 告警收敛 |
灰度避坑：日志检索服务存在“写放大”效应（如索引合并、段合并），灰度期间必须同时监控写入端背压指标。若金丝雀阶段出现写入拒绝率上升 > 5%，立即暂停灰度并触发回滚。
3.4 回滚机制
回滚机制是发布准入流程的“安全阀”。日志检索工程的回滚必须支持配置回滚与数据面回滚两种模式，且回滚操作必须在 5 分钟内完成。
回滚关键操作示例：
# 配置回滚：从备份目录恢复上一版索引模板
cp /etc/logsearch/templates/rollback/v1.2.3/template.json /etc/logsearch/templates/current/
curl -X PUT "localhost:9200/_template/log_template_v1" -H 'Content-Type: application/json' -d @template.json
# 数据面回滚：切换索引别名到上一代索引
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d '
{
"actions": [
{"remove": {"index": "logs-2025-*", "alias": "logs-read"}},
{"add": {"index": "logs-2025-rollback-*", "alias": "logs-read"}}
]
}'
回滚验证清单：回滚完成后，必须依次确认：① 查询延迟 P99 恢复至基线值 ±10%；② 写入拒绝率归零；③ 集群健康状态恢复 green；④ 告警规则在 5 分钟内未触发。验证通过后，回滚流程关闭，变更标记为“已回滚”。