3. 故障事件分类体系
在运行时流水线中，故障事件并非随机发生，而是遵循可归纳的模式。建立清晰的分类体系，是故障预防、快速定位和自动化准入核验的基础。本章从两个核心维度对故障事件进行划分：故障来源（定位问题根因）与影响范围（评估问题严重性）。
3.1 按故障来源分类
故障来源决定了修复策略的制定方向。根据运行时流水线的常见故障模式，可将其归纳为四大类：代码缺陷、配置错误、环境异常和依赖失效。
| 故障来源 | 典型表现 | 根因示例 | 检测难度 |
|---|---|---|---|
| 代码缺陷 | 业务逻辑错误、空指针、内存泄漏、死循环 | 未处理边界条件、并发竞态、SQL 注入 | 中 |
| 配置错误 | 连接超时、路由失败、资源配额不足 | YAML 缩进错误、环境变量拼写、密钥过期 | 低 |
| 环境异常 | 磁盘 IO 飙升、网络延迟抖动、内核参数不匹配 | 宿主机资源争抢、容器运行时版本差异 | 高 |
| 依赖失效 | 上游服务不可用、数据库连接池耗尽、中间件崩溃 | 第三方 API 降级、DNS 解析失败、证书链断裂 | 中 |
3.1.1 代码缺陷
代码缺陷是流水线中最常见的故障来源，通常由开发阶段的逻辑疏漏引入。在运行时，这类故障往往表现为非预期异常或性能退化。例如，一个未对空列表进行判定的函数，在特定数据输入下会直接抛出 NullPointerException，导致整个请求处理链中断。
3.1.2 配置错误
配置错误具有高发性和隐蔽性的特点。一个错误的端口号、一个遗漏的密钥，都可能导致服务启动失败或行为异常。在云原生环境中，配置往往通过 ConfigMap 或环境变量注入，错误的配置变更可能瞬间影响所有副本。
3.1.3 环境异常
环境异常是运行时特有的故障类型，难以在开发或测试环境复现。例如，生产环境的宿主机因其他租户的“吵闹邻居”问题导致 CPU 节流，或容器运行时因内核参数 net.core.somaxconn 设置过小导致连接队列溢出。
3.1.4 依赖失效
现代微服务架构高度依赖外部组件。依赖失效可能表现为级联故障的起点。例如，当 Redis 缓存集群发生主从切换时，依赖该缓存的服务可能出现短暂的读取失败，若未配置合理的重试与熔断机制，故障将迅速扩散。
3.2 按影响范围分类
影响范围决定了故障的紧急程度和响应策略。根据故障在系统中的传播边界，可将其分为局部故障、全局故障和级联故障。
| 影响范围 | 定义 | 典型场景 | 恢复策略 |
|---|---|---|---|
| 局部故障 | 故障影响限定在单个实例、单个 Pod 或单个可用区内 | 单节点 OOM、单个 Pod 启动失败 | 自动重启、快速回滚 |
| 全局故障 | 故障影响整个服务、整个集群或所有用户 | 数据库主库宕机、全局配置错误导致所有实例异常 | 主从切换、全量回滚、紧急发布 |
| 级联故障 | 故障从一个组件传播到其他依赖组件，形成连锁反应 | 缓存雪崩导致数据库被打穿、熔断器触发后大面积降级 | 流量隔离、熔断恢复、容量规划 |
3.2.1 局部故障
局部故障是运行时流水线中最常见、影响最小的故障类型。例如，一个 Pod 因内存压力被 OOMKill，Kubernetes 的 ReplicaSet 会自动重新调度一个新的 Pod 来替代它。对于局部故障，Sandbox 准入核验通常采用快速失败和自动恢复策略。
3.2.2 全局故障
全局故障意味着整个服务或系统不可用。例如，一个错误的 ConfigMap 更新导致所有服务实例读取到无效的数据库连接字符串，所有请求立即失败。全局故障要求流水线具备熔断机制和灰度发布能力，在故障扩散前阻断变更。
3.2.3 级联故障
级联故障是最危险的故障模式，其破坏力呈指数级增长。一个典型的级联链路是：上游服务 A 响应变慢 → 下游服务 B 的线程池被占满 → 服务 B 无法响应其他请求 → 依赖服务 B 的服务 C 也开始排队 → 最终整个调用链雪崩。级联故障的核验重点在于依赖拓扑分析和容量压力测试。
3.3 分类体系在 Sandbox 准入核验中的应用
故障事件分类体系并非理论模型，而是直接指导 Sandbox 准入核验策略的设计。以下表格展示了不同分类维度如何映射到具体的核验规则：
| 故障分类 | 准入核验规则示例 | 阻断阈值 |
|---|---|---|
| 代码缺陷（来源） | 静态代码扫描（SAST）通过率 ≥ 95% | 发现 Critical 级别漏洞直接阻断 |
| 配置错误（来源） | 配置 Schema 校验 + 密钥有效性检查 | 任何 Schema 错误或密钥过期直接阻断 |
| 环境异常（来源） | Sandbox 环境与生产环境基线一致性检查 | 内核参数、运行时版本差异超过阈值时告警 |
| 依赖失效（来源） | 依赖健康检查 + 熔断器状态验证 | 上游服务健康度低于 80% 时阻断发布 |
| 局部故障（范围） | 自动重启策略 + 最小副本数保障 | 单次故障不阻断，但 5 分钟内重复故障需告警 |
| 全局故障（范围） | 灰度发布 + 全量回滚预案 | 错误率超过 1% 立即触发全量回滚 |
| 级联故障（范围） | 依赖拓扑分析 + 重试风暴检测 | 检测到重试请求激增 5 倍时自动熔断 |
source:code、scope:cascade 等标签，便于后续的故障分析和核验策略的持续优化。