4. 常见异常样本类型

端侧采集数据（如传感器时序数据、设备日志、边缘网关上报记录）在真实物理环境中往往伴随多种异常形态。异常样本并非单一类型，而是由采集链路、环境干扰、设备状态、协议解析、人为操作等多重因素叠加产生。本章将异常样本归纳为八大类：缺失值、重复值、离群点、噪声、漂移、时间戳错乱、格式错误、语义错误，逐一剖析其定义、成因、识别方法、处理策略及典型示例。理解这些异常类型的本质差异，是后续设计质量检查规则和剔除算法的基础前提。

4.1 缺失值：数据完整性缺口

核心原理

缺失值指在应当采集到数据的时空位置，样本记录为空、NaN、Null 或占位符（如 -9999、0xFFFF）。端侧设备产生缺失值的原因包括：传感器瞬时掉电、通信丢包、ADC 采样失败、存储写入异常、设备重启导致缓冲区丢失等。缺失值并非随机出现，往往与设备状态、环境条件（如高温、振动）相关，因此不能简单视为随机噪声。

判断方法

• 字段级检查：逐字段扫描空值、NaN、Infinity 及约定占位符。
• 时间连续性检查：按采样周期计算相邻时间戳间隔，若间隔超过设定阈值（如 2 倍采样周期），判定为时间窗口缺失。
• 批量缺失模式：若缺失集中在特定时间段或特定设备，需排查硬件或网络原因。

案例拆解

某工业振动监测系统部署 50 个加速度传感器，采样率 10kHz。数据检查发现设备 #17 在 14:00-14:05 期间连续缺失 300 万条记录。初步分析并非随机丢包，而是该设备所处区域温度达到 85°C，触发传感器过热保护而暂停采样。处理策略：将该时段标记为“设备过热缺失”，不进行插补，而是在特征工程中增加“缺失时长比例”作为辅助特征。

4.2 重复值：冗余记录与逻辑冲突

核心原理

重复值指同一样本被记录多次，表现为完全重复或部分关键字段重复。端侧场景中，重复值常因通信重传机制（MQTT QoS=1 或 TCP 重传）、应用层重试逻辑、存储双写、数据回放等产生。重复值不仅浪费存储，更会导致统计量偏差（如均值被加权）和时序顺序错乱。

判断方法

重复类型	判断依据	典型场景
完全重复	所有字段值一致	网络重传导致同一报文被处理两次
主键重复	设备ID+时间戳一致，其他字段不同	设备本地缓存与网关转发重复
业务重复	业务逻辑上代表同一事件	同一告警被多个通道上报

操作流程

1. 定义唯一键（通常为 device_id + timestamp + channel_id）。
2. 按唯一键分组，保留第一条或按质量评分保留最优记录。
3. 对完全重复记录直接删除；对主键重复但字段不同的记录，需人工规则裁决。

4.3 离群点：统计意义上的极端值

核心原理

离群点指数值明显偏离正常分布范围的样本。离群点可能是真实异常事件（如设备故障、突发冲击），也可能是数据错误（如传感器短路、信号串扰）。区分“真实异常”与“数据错误”是离群点处理的核心难点。常用检测方法包括：3σ 原则、IQR（四分位距）、Z-Score、DBSCAN 聚类、孤立森林等。

判断方法

# 以 Z-Score 为例
z_score = (x - mean) / std
if abs(z_score) > 3:  # 标记为离群点
    outlier_flag = True

对于非正态分布数据，建议使用 IQR 方法：Q1 - 1.5*IQR 与 Q3 + 1.5*IQR 作为上下界。

案例拆解

某风力发电机齿轮箱振动数据中，出现一个幅值为正常值 20 倍的尖峰。初步判断为离群点，但进一步分析发现该尖峰与一次叶片变桨动作同步发生，属于真实物理事件。若直接剔除，将丢失关键故障特征。处理策略：结合工况标签（变桨角度、转速）判断离群点是否可解释，可解释的保留并标记，不可解释的剔除。

4.4 噪声：高频随机干扰

核心原理

噪声指叠加在真实信号上的随机波动，通常由电磁干扰、电源纹波、机械振动、量化误差等引起。噪声与离群点的区别在于：噪声是持续性的、幅值较小的随机扰动；离群点是偶发性的、幅值较大的极端值。噪声会降低信噪比，影响特征提取和模型训练效果。

判断与处理

• 频域分析：通过 FFT 观察频谱，若高频段能量异常升高，可能存在噪声。
• 平滑滤波：移动平均、中值滤波、低通滤波（如 Butterworth）可抑制噪声。
• 小波去噪：适用于非平稳信号，可在时频域同时去除噪声。

4.5 漂移：系统性偏差随时间变化

核心原理

漂移指测量值随时间发生缓慢、系统性的偏移，而非随机波动。常见原因包括：传感器老化、温度漂移、零点漂移、基准电压变化、光学窗口污染等。漂移会导致数据分布整体平移或缩放，使模型在长期运行后性能下降（概念漂移）。

判断方法

漂移类型	表现	检测方法
加性漂移	均值逐渐偏移	滑动窗口均值监控
乘性漂移	幅值逐渐缩放	滑动窗口标准差监控
概念漂移	数据分布形态改变	PSI（群体稳定性指数）、KS检验

案例拆解

某水质监测站 pH 传感器运行 6 个月后，读数较实验室标准液校验值偏高 0.8。经排查，传感器玻璃电极老化导致响应曲线偏移。处理方案：建立定期校准机制，利用校准系数对原始数据进行在线修正；同时监控 pH 值的滑动均值，当偏移超过 0.3 时触发维护告警。

4.6 时间戳错乱：时序逻辑破坏

核心原理

时间戳错乱包括时间戳缺失、重复、乱序、跳变、时区不一致等。端侧设备常因 RTC 电池耗尽、NTP 同步失败、设备休眠唤醒后时钟未校准、多设备时钟不同步等原因产生时间戳异常。时间戳是时序数据的核心索引，一旦错乱，后续的排序、窗口计算、关联分析都将失效。

判断方法

1. 单调性检查：遍历时间戳序列，若出现后一个时间戳小于前一个，则存在乱序。
2. 间隔检查：计算相邻时间戳差值，若差值远大于或远小于采样周期，则存在跳变或重复。
3. 范围检查：时间戳是否在合理范围内（如不早于设备部署时间，不晚于当前时间+允许误差）。

4.7 格式错误：结构不符合约定

核心原理

格式错误指数据在结构、类型、编码、单位等方面不符合协议约定。例如：JSON 字段缺失或类型错误、数值字段出现字母、日期格式不统一（YYYY-MM-DD vs DD/MM/YYYY）、单位不一致（摄氏度 vs 华氏度）、字符串编码混乱（UTF-8 vs GBK）。格式错误通常在协议解析阶段被发现，但部分错误能通过解析器容错而进入业务层。

判断方法

• Schema 校验：使用 JSON Schema、Avro Schema 或 Protobuf 定义校验规则。
• 正则表达式：对字符串字段进行模式匹配。
• 类型检查：确保数值字段可转换为 float/int，布尔字段为 true/false。

// JSON Schema 示例
{
  "type": "object",
  "properties": {
    "device_id": {"type": "string", "pattern": "^DEV-[0-9]{4}$"},
    "temperature": {"type": "number", "minimum": -50, "maximum": 150},
    "timestamp": {"type": "string", "format": "date-time"}
  },
  "required": ["device_id", "temperature", "timestamp"]
}

4.8 语义错误：数据合法但含义不符

核心原理

语义错误是最隐蔽的异常类型——数据在格式、类型、范围上均合法，但实际含义与真实物理世界不符。例如：温度传感器接反导致读数为负、通道映射错误导致 A 通道数据写入 B 通道、设备 ID 配置错误导致数据归属错误、量程设置错误导致数值缩放错误。语义错误通常需要跨字段或跨设备关联分析才能发现。

判断方法

检测维度	方法	示例
字段间逻辑	检查相关字段的物理约束	风速为 0 但风向角持续变化
设备间对比	同型号设备数据分布对比	某设备温度始终比其他设备高 20°C
时间相关性	检查与外部变量的相关性	室内温度与室外温度变化趋势相反

案例拆解

某智能楼宇系统部署 200 个温湿度传感器。数据检查发现 3 楼东区 5 个传感器的湿度读数在 0%-5% 之间波动，而相邻区域为 40%-60%。格式和范围均正常，但数值明显不合理。现场排查发现施工时该区域传感器被安装在空调出风口附近，导致测量的是干燥冷空气而非环境湿度。处理方案：调整传感器安装位置，并对历史数据打标为“安装位置错误”，不参与模型训练。

4.9 异常类型对比与综合处理策略

异常类型	检测难度	处理难度	典型处理方式	误判风险
缺失值	低	中	插补/标记/删除	插补引入偏差
重复值	低	低	去重	误删有效数据
离群点	中	高	剔除/保留标记	误删真实异常
噪声	中	中	滤波/平滑	过度平滑
漂移	高	高	校准/修正	修正过度
时间戳错乱	中	中	排序/重对齐	排序后仍错位
格式错误	低	低	解析/转换	转换丢失信息
语义错误	高	高	人工核查/规则	漏检率高

综合处理流程

1. 分层检查：先做格式和缺失检查（低成本），再做重复和时间戳检查，最后做离群点和语义检查（高成本）。
2. 异常标记：对每条异常记录添加异常类型标签，而非直接删除，保留审计追踪能力。
3. 分级处理：格式错误和重复值直接剔除；缺失值按比例决定插补或删除；离群点需结合业务确认；漂移需在线校准。
4. 持续监控：建立异常类型分布的时间趋势图，若某类异常比例突然上升，需排查上游设备或网络问题。

总结复盘

八大异常类型并非完全独立，实际数据中常出现复合异常（如时间戳错乱伴随重复值、漂移叠加噪声）。建议建立异常类型标签体系，在数据管道中逐层检测、逐层标记，最终形成“原始数据 + 异常标签 + 处理动作”的三层数据视图。这样既能保证下游任务获得干净数据，又能保留异常样本用于后续分析（如设备故障诊断）。端侧数据质量检查的核心目标不是“消灭所有异常”，而是“准确识别异常类型并采取差异化处理策略”。