3. 断点与异常类型识别
时序数据质量监控的第一步，不是急着修复，而是准确识别“坏在哪里、坏成什么样”。同样是时间轴上的一段异常，缺失、突变、漂移、重复时间戳、乱序到达这五类问题的成因、表现和修复策略完全不同。如果把它们混为一谈，用插值去补一个本应删除的重复点，或者用平滑去处理一个真实的阶跃突变，都会把数据改得更糟。本节围绕这五类异常，逐一讲清它们的产生机理、在时间序列上的典型形态，以及如何用可观察的特征把它们区分开。
缺失断点：时间轴上“该有却没有”的空洞
缺失断点指在固定采样周期下，某个或连续多个时间点没有数据到达。它的本质是“时间戳存在预期、但记录不存在”。成因通常有三类：采集端故障（传感器掉电、网络中断、采集程序崩溃）、传输丢失（消息队列积压、UDP 丢包、网关重启）、以及写入失败（数据库连接超时、磁盘写满导致批量写入回滚）。
表现上，缺失断点最直观的特征是相邻两个时间戳的间隔大于标称采样周期。例如标称 10 秒采样的温度序列，正常相邻点差值为 10s，若出现 10:00:00 之后直接跳到 10:01:30，则中间缺失了 8 个点。识别时不能只看“有没有 NULL 值”，因为很多系统在缺失时根本不写入记录，时间轴上直接出现空洞。判断依据是：实际时间间隔 / 标称采样周期 − 1 = 缺失点数。需要注意区分“单点缺失”和“整段缺失”，前者可能是一次丢包，后者往往对应设备离线或服务中断，修复策略也不同。
突变断点：数值在短时间内发生非物理跳变
突变断点指相邻采样点的数值差远超正常波动范围，表现为时间序列上的“尖刺”或“阶跃”。成因包括：传感器受电磁干扰产生瞬时尖峰、量程切换或单位换算错误、设备重启后初值异常、以及真实工况的快速变化（如阀门突然关闭）。
关键难点在于：突变既可能是“错误”，也可能是“真实事件”。识别时通常用一阶差分结合统计阈值，例如对滑动窗口内的差分计算均值 μ 和标准差 σ，当 |Δx − μ| > kσ（k 常取 3～5）时标记为疑似突变。但仅靠统计不够，还要结合物理约束：温度不可能在 1 秒内上升 200℃，流量不可能为负。因此突变识别应同时检查变化率上限和物理量程边界。若跳变后数值维持在新水平，是阶跃；若迅速回落，是尖刺。两者在修复上分别对应“确认是否为真实工况切换”和“直接剔除并用邻域插值替换”。
漂移断点：缓慢累积的基线偏移
漂移断点与突变相反，它不表现为单点跳变，而是数值基线随时间缓慢、持续地偏离真实值。成因多为传感器老化、温漂、零点漂移、供电电压缓慢下降，或校准参数随时间失效。它的危险在于“看起来都正常”——单点差分很小，阈值检测完全抓不到，但长期累积后数据已不可用。
识别漂移需要看趋势而非单点。常用方法是：对序列做滑动平均，观察均值是否单调偏移；或与同工况下的参考传感器做残差分析，若残差随时间呈线性或指数增长，则判定为漂移。例如某压力传感器在 24 小时内读数从 1.00MPa 缓慢爬到 1.08MPa，而参考表始终在 1.00MPa，残差以约 0.003MPa/h 累积，这就是典型漂移。修复上，漂移通常需要重新校准或做基线校正，而不是简单插值。
重复时间戳：同一时刻出现多条记录
重复时间戳指同一设备、同一指标在完全相同的时间戳上出现两条或多条记录。成因包括：采集端重试机制导致重复上报、消息队列至少一次投递语义、断点续传时边界处理不当、以及多副本写入未做幂等。表现很直接：按时间排序后出现时间戳相等的相邻行，数值可能相同（完全重复）也可能不同（冲突重复）。
处理时必须先判断重复的性质。若数值完全一致，可直接去重保留一条；若数值不同，则要依据业务规则决定保留哪条——通常保留最新到达的、或保留质量标记更高的。切忌不判断就盲目去重，否则可能丢掉真实的状态变化。识别方法是对 (设备ID, 指标, 时间戳) 做分组计数，计数大于 1 即为重复。
乱序到达：时间戳顺序与到达顺序不一致
乱序到达指数据到达处理端的时间顺序与它自身携带的时间戳顺序不一致。成因包括：网络多路径传输延迟不同、边缘节点本地缓存后批量补传、分布式采集节点时钟不同步、以及消息队列分区并行消费。它的表现是：按到达顺序写入时，时间戳出现“回退”，例如先收到 10:00:05，再收到 10:00:03。
乱序本身不一定是错误，但会破坏依赖顺序的计算（如差分、滑动窗口、状态机）。识别方法是维护一个“已见最大时间戳”水位线，当新到记录的时间戳小于水位线减去允许延迟窗口时，判定为乱序。工程上通常设置一个乱序容忍窗口（如 30 秒），窗口内到达的乱序数据通过重排序缓冲纠正，超出窗口的则标记为迟到数据单独处理。
五类异常的区分要点与处理方向
把五类异常放在一起看，区分的关键在于“看什么维度”：缺失看时间间隔，突变看相邻差分，漂移看长期趋势，重复看时间戳计数，乱序看到达顺序与时间戳顺序的偏差。下表给出一个便于现场快速判断的对照。
| 异常类型 | 核心观察量 | 典型成因 | 处理方向 |
|---|---|---|---|
| 缺失断点 | 相邻时间戳间隔 > 标称周期 | 采集故障、传输丢包、写入失败 | 短缺口插值，长缺口标记不可用 |
| 突变断点 | 相邻差分 |Δx| 超阈值 | 电磁干扰、量程切换、真实工况跳变 | 先判物理合理性，再决定剔除或保留 |
| 漂移断点 | 滑动均值与参考值残差持续增大 | 传感器老化、温漂、零点偏移 | 重新校准或做基线校正 |
| 重复时间戳 | 同 (设备,指标,时间戳) 计数 > 1 | 重试上报、至少一次投递、续传边界 | 按幂等规则去重，冲突时按质量标记取舍 |
| 乱序到达 | 新到时间戳 < 水位线 − 容忍窗口 | 多路径延迟、批量补传、时钟不同步 | 窗口内重排序，窗口外标记迟到 |
实际工程中，这五类异常往往同时出现。一个典型的断网恢复场景是：设备离线期间产生缺失断点，恢复后本地缓存批量补传造成乱序到达，补传重试又引入重复时间戳，而设备重启瞬间的初值异常则表现为突变。因此异常识别不能孤立地逐类判断，而应在一个统一的时间轴清洗管道中按依赖顺序处理，并保留每一步的处理标记，便于后续追溯和复盘。