4. 数据清洗流程总览：从原始数据到高质量安全报告的标准Pipeline设计

在数字工地移动巡检场景中，原始数据往往来自不同厂商的终端设备、不同格式的传感器日志以及人工录入的检查记录。这些数据在进入安全报告生成引擎之前，必须经过一套标准化的清洗流程。本章将定义一条从原始数据到高质量安全报告的完整Pipeline，涵盖数据接入、质量评估、清洗转换、聚合验证与报告输出五个核心阶段。

4.1 Pipeline整体架构

标准Pipeline采用分层解耦设计，每个阶段只依赖前一阶段的输出，便于独立优化与故障隔离。下图展示了Pipeline的五个阶段及其数据流转关系。

4.2 各阶段核心职责与输入输出

每个阶段都有明确的输入规范、处理逻辑和输出标准。下表汇总了五个阶段的关键参数，帮助团队快速定位问题环节。

4.3 数据质量评估维度

在质量评估阶段，我们采用四维评分模型对每条记录进行量化打分。低于阈值的记录会被标记为“待清洗”或“待人工确认”。

• 完整性（权重40%）：必填字段是否为空，如巡检时间、设备ID、检查项编码。
• 准确性（权重30%）：数值是否在合理范围内，如温度读数不应超过-50°C~150°C。
• 一致性（权重20%）：同一设备在不同记录中的属性值是否矛盾，如设备型号前后不一致。
• 时效性（权重10%）：数据时间戳是否在巡检任务窗口内，超时数据需标记。

QualityScore = 0.4 × completeness + 0.3 × accuracy + 0.2 × consistency + 0.1 × timeliness
阈值：≥85分 → 直接通过；60-84分 → 自动清洗；<60分 → 人工介入

4.4 清洗转换核心规则

清洗转换阶段是Pipeline中最复杂的环节，需要处理大量脏数据场景。以下是我们总结的六类核心规则，按优先级从高到低排列。

1. 去重规则：基于设备ID + 巡检时间 + 检查项编码的联合唯一键，保留最新一条记录。
2. 缺失值填充：数值型字段使用同设备历史均值填充；类别型字段使用众数或“未知”标记。
3. 异常值截断：超过3σ或IQR 1.5倍范围的值，替换为边界值。
4. 格式标准化：时间统一为ISO 8601格式，经纬度统一为WGS84坐标系。
5. 类型转换：字符串数字转为浮点型，枚举字段映射为内部编码。
6. 关联补全：通过设备ID关联设备台账表，补全缺失的设备型号、安装位置等信息。

4.5 聚合验证与报告生成

清洗后的明细数据需要经过聚合验证才能进入报告生成环节。聚合验证阶段主要完成以下工作：

• 跨表关联：将巡检记录与设备台账、人员信息、巡检计划表进行左连接，形成宽表。
• 业务规则校验：例如“高风险设备必须每日巡检一次”，若缺失则生成告警。
• 统计聚合：按项目、区域、设备类型等维度计算巡检覆盖率、问题发现率、整改率等KPI。
• 数据签名：对聚合结果计算MD5哈希，确保报告数据在传输过程中未被篡改。

4.6 Pipeline性能优化要点

在数字工地场景中，数据量可能达到每日百万级记录。以下优化策略已在多个项目中验证有效：