第1章 异常现象分类：常见数据异常类型、异常表现特征、紧急程度判断
1.1 现象识别
数据异常排查的第一步是准确识别“发生了什么异常”。缺乏统一分类标准时，不同角色对同一现象的表述可能完全不同——运营说“数据不准”，开发说“任务延迟”，分析说“口径对不上”。本章建立全局分类框架，将数据异常归纳为三大类：数据质量异常、数据延迟异常和数据一致性异常。
分类原则：以异常对业务链路的实际影响为判断依据，而非底层技术原因。同一个技术原因（如源端宕机）可能同时引发质量、延迟和一致性问题，但表现特征不同，排查入口也不同。
1.1.1 三大异常类型及特征
下表列出每类异常的核心子类型、典型表现及紧急等级参考：
| 异常大类 | 子类型 | 表现特征 | 典型场景 | 紧急程度 |
|---|---|---|---|---|
| 数据质量异常 | 缺失值 | 关键字段为 NULL 或空字符串 | 源端采集遗漏、ETL 过滤过严 | P1 |
| 异常值 | 数值超出业务合理范围（如负销售额） | 采集器故障、单位换算错误 | P0 | |
| 重复数据 | 主键或唯一键重复，同一条记录出现多次 | 重复导入、未做幂等处理 | P2 | |
| 数据延迟异常 | 批量延迟 | T+1 报表在约定时间后仍未就绪 | 调度任务挂起、上游依赖未完成 | P1 |
| 实时断流 | 流式指标连续 N 分钟无新数据 | Kafka 连接中断、Producer 崩溃 | P0 | |
| 数据堆积 | 消费积压持续增长，延迟时间递增 | 消费者处理能力不足、Backpressure | P2 | |
| 数据一致性异常 | 跨源不一致 | 同指标在不同报表中数值不同 | 口径定义差异、聚合逻辑不同 | P1 |
| 历史回溯差异 | 历史已固化数据因重跑发生变化 | 重跑脚本未做快照隔离 | P1 | |
| 引用完整性 | 事实表外键在维度表中无对应记录 | 清洗规则误过滤、维表未及时更新 | P2 |
1.1.2 紧急程度判断标准
| 等级 | 定义 | 响应时限 | 典型场景举例 |
|---|---|---|---|
| P0 | 核心链路阻断或数据严重错误，影响对客展示或监管报送 | 立即响应 ≤30 min | 实时断流、关键指标异常值、主表全量缺失 |
| P1 | 重要链路受影响或数据质量明显下降，需快速恢复 | 快速响应 ≤2 h | 批量延迟、缺失值超阈值、跨源口径冲突 |
| P2 | 边缘链路问题或轻度异常，不影响核心决策 | 常规响应 ≤24 h | 重复数据、数据堆积、引用完整性告警 |
判断口诀：先看链路是否阻断，再看数据是否已对客，最后评估修复成本。P0 必须立即拉群响应，P1 可在当前迭代内修复，P2 纳入排期即可。