4. 异常事件定义与分类：可观测性异常与告警事件
在可观测性体系中，异常事件是触发自动化响应流程的起点。本章将明确定义什么是可观测性异常，并按照延迟、错误、饱和度三大黄金信号进行分类，同时厘清告警与事件之间的核心关系。
4.1 什么是可观测性异常
可观测性异常是指系统或服务的行为偏离了预期的正常基线，并且这种偏离可以通过遥测数据（指标、日志、链路）被检测和量化。异常并不等同于故障，但它是故障的前兆或直接表现。
核心定义： 异常 = 实际观测值 - 预期基线 > 容忍阈值。异常事件是这一偏离在时间轴上的具象化记录。
可观测性异常具有以下三个关键特征：
- 可测量性： 异常必须能够通过具体的指标数值（如 P99 延迟、错误率、CPU 使用率）进行量化。
- 可追溯性： 异常事件应关联到具体的服务、端点、实例或用户请求，便于根因定位。
- 可响应性： 异常事件应具备足够的上下文信息，以支持自动化或人工的 Runbook 响应。
4.2 异常事件三大黄金信号分类
基于 Google SRE 经典理论，我们将可观测性异常事件分为三大类：延迟、错误、饱和度。这三类事件覆盖了系统健康度的核心维度。
| 分类 | 定义 | 典型指标 | 自动化响应示例 |
|---|---|---|---|
| 延迟 (Latency) | 请求处理时间超出预期，表明系统响应变慢。 | P50/P95/P99 延迟、平均响应时间 | 触发自动扩容、重启慢查询、切换流量至低延迟集群 |
| 错误 (Error) | 请求处理失败或返回非预期结果，表明功能受损。 | HTTP 5xx 率、错误日志计数、异常链路比例 | 自动回滚版本、重启异常实例、隔离故障节点 |
| 饱和度 (Saturation) | 资源使用接近或达到上限，表明系统容量不足。 | CPU 使用率、内存占用、连接池使用率、磁盘 I/O | 自动清理缓存、限流降级、触发弹性伸缩策略 |
实践建议： 在定义异常事件时，建议为每个黄金信号设置至少两个级别的阈值：警告 (Warning) 和 严重 (Critical)。警告级别用于提前发现趋势，严重级别用于触发自动化 Runbook 响应。
4.3 告警与事件的关系
在自动化响应体系中，告警 (Alert) 和 事件 (Event) 是两个紧密关联但概念不同的实体。理解它们的关系是设计有效 Runbook 的前提。
4.4 告警与事件的核心差异
下表从多个维度对比告警与事件，帮助你在设计自动化响应系统时做出正确的数据建模决策：
| 维度 | 告警 (Alert) | 事件 (Event) |
|---|---|---|
| 触发条件 | 基于规则（阈值、同比、环比） | 基于观测（指标、日志、链路中的任何异常） |
| 生命周期 | 从触发到确认/关闭 | 从发生到归档（可长期存储） |
| 响应方式 | 通知（邮件、短信、PagerDuty） | 触发自动化 Runbook 或人工介入 |
| 数据量 | 相对较少，仅包含触发时的快照 | 相对较多，包含完整的上下文和时序数据 |
| 在 Runbook 中的角色 | 作为 Runbook 的“触发器” | 作为 Runbook 的“输入参数”和“执行上下文” |
常见误区： 不要将告警和事件混为一谈。在 OpenTelemetry 生态中，事件通常通过
SpanEvent 或 LogRecord 表示，而告警则是由监控系统（如 Prometheus + Alertmanager）根据指标规则生成。自动化 Runbook 应该消费事件，而不是直接消费告警通知。
4.5 异常事件分类在自动化 Runbook 中的应用
将异常事件按照延迟、错误、饱和度进行分类，可以直接指导自动化 Runbook 的响应策略设计：
- 延迟异常 Runbook： 优先检查数据库查询性能、外部依赖调用耗时、缓存命中率。自动化动作包括：调整连接池大小、预热缓存、切换至备用数据库。
- 错误异常 Runbook： 优先检查代码版本、配置变更、依赖服务健康状态。自动化动作包括：回滚最近一次部署、重启异常 Pod、隔离故障实例。
- 饱和度异常 Runbook： 优先检查资源使用趋势、限流配置、扩容策略。自动化动作包括：触发水平扩容、执行限流降级、清理临时文件或日志。
最佳实践： 在 OpenTelemetry 中，建议为每个 Span 或 Metric 添加
event.type 属性（取值：latency、error、saturation），以便自动化 Runbook 根据事件类型快速路由到对应的响应策略。