4. 基础设施状态模型：状态定义、状态机、健康检查与持久化
基础设施状态模型是值班机器人进行自动化事件触发与回滚决策的核心数据基础。一个严谨的状态模型能够确保机器人准确感知当前环境、判断异常边界、执行可逆操作。本章从状态定义、状态机转换、健康检查指标和状态持久化四个维度展开。
4.1 状态定义与分类
基础设施状态是指某一时刻系统各组件的运行快照，包含配置、连接、负载、健康度等维度。我们将状态分为三类：
| 状态类别 | 描述 | 示例 |
|---|---|---|
| 稳态（Steady） | 系统处于预期运行范围，无异常告警 | CPU 使用率 45%，响应延迟 120ms |
| 亚稳态（Meta-stable） | 指标偏离基线但未触发阈值，存在风险 | 内存使用率 85%，连接池占用 90% |
| 故障态（Fault） | 关键指标超出安全边界，需要自动干预 | 服务 503 错误率 > 5%，磁盘 IO 等待 > 2000ms |
设计原则：状态定义应遵循“可观测、可量化、可回溯”三原则。每个状态必须对应至少一个可采集的指标，且状态转换路径必须预先定义，避免出现“无主状态”。
4.2 状态机（State Machine）
状态机定义了基础设施在不同状态之间的合法转换路径。值班机器人依据状态机驱动自动化事件触发与回滚决策。下图展示了一个典型的基础设施状态机模型：
4.3 健康检查指标
健康检查是状态机转换的驱动信号。每个状态转换必须绑定一组可量化的健康检查指标。以下是指标体系的核心分类：
- 存活指标（Liveness）：进程是否运行、端口是否监听、心跳是否正常。示例：
process_alive == 1、tcp_port_open == true。 - 就绪指标（Readiness）：服务是否能够处理请求。示例：
/healthz 返回 200、connection_pool_usage < 90%。 - 性能指标（Performance）：响应时间、吞吐量、错误率。示例：
p99_latency < 500ms、error_rate < 1%。 - 容量指标（Capacity）：CPU、内存、磁盘、网络带宽使用率。示例：
cpu_usage < 80%、disk_usage < 85%。
指标聚合策略：健康检查结果通常采用“滑动窗口 + 多数投票”机制。例如，连续 3 次采样中有 2 次失败才判定为故障态，避免瞬时抖动引发误触发。
4.4 状态持久化方案
状态持久化是值班机器人实现“断点续判”和“回滚追溯”的基础。持久化方案需要平衡写入性能、查询效率和数据一致性。以下是三种主流方案对比：
| 方案 | 存储介质 | 写入性能 | 查询效率 | 一致性保证 | 适用场景 |
|---|---|---|---|---|---|
| 内存 + 定期快照 | Redis / 本地内存 | 极高（微秒级） | 极高 | 最终一致 | 高频状态变更，允许少量丢失 |
| 关系数据库 | PostgreSQL / MySQL | 中等（毫秒级） | 高（支持复杂查询） | 强一致（ACID） | 需要审计追溯、回滚历史查询 |
| 时序数据库 | InfluxDB / TimescaleDB | 高（批量写入） | 高（时间范围查询） | 最终一致 | 健康检查指标长期存储、趋势分析 |
状态持久化的核心数据结构通常包含以下字段：
{
"resource_id": "vm-12345",
"state": "steady",
"previous_state": "meta-stable",
"transition_time": "2025-03-20T14:30:00Z",
"health_indicators": {
"cpu_usage": 45.2,
"memory_usage": 72.1,
"error_rate": 0.02,
"p99_latency": 120
},
"trigger_event": "auto_recovery",
"ttl_seconds": 86400
}
注意：状态持久化必须设置 TTL（生存时间）或归档策略。过期的状态数据不仅占用存储，还会干扰状态机的当前判断。建议将超过 7 天的状态快照自动迁移到冷存储或归档表。
4.5 状态模型与回滚决策的联动
状态模型不仅是“记录”，更是回滚决策的输入。值班机器人在检测到故障态后，会依据持久化的状态历史判断回滚路径：
- 查询最近 N 次状态转换记录，确认当前故障是否由最近一次变更引起。
- 比对健康检查指标基线，识别哪些指标发生了突变。
- 选择回滚目标状态：通常回滚到最近一次稳态快照对应的配置版本。
- 执行回滚后验证：回滚完成后，重新采集健康检查指标，确认状态机回到稳态。
下图展示了状态模型与回滚决策引擎之间的数据流关系：
通过上述联动机制，值班机器人能够在秒级内完成“感知-判断-决策-执行”的闭环，确保基础设施状态始终处于可控范围内。