2. 移动巡检数据源解析：常见数据类型、采集终端与格式规范
移动巡检数据是数字工地安全报告的核心输入。数据源的质量直接决定后续清洗效率与报告性能。本章从数据类型、采集终端与格式规范三个维度，系统解析移动巡检数据源的结构特征与常见问题。
2.1 常见数据类型
移动巡检数据按信息载体可分为四类：文本数据、图片数据、GPS 定位数据与传感器数据。每类数据在采集方式、存储结构与清洗难点上存在显著差异。
| 数据类型 | 典型内容 | 采集方式 | 常见问题 |
|---|---|---|---|
| 文本 | 巡检记录、隐患描述、整改意见 | 手动输入、语音转写、下拉选择 | 错别字、口语化表达、字段缺失 |
| 图片 | 现场照片、设备铭牌、施工进度 | 终端拍照、截图上传 | 模糊、重复、EXIF 信息丢失 |
| GPS | 经纬度、海拔、时间戳 | 终端定位模块自动采集 | 漂移、精度不足、坐标系不统一 |
| 传感器 | 温度、湿度、振动、噪声、PM2.5 | IoT 设备实时回传 | 异常值、缺失值、采样频率不一致 |
清洗提示：文本与 GPS 数据是移动巡检中错误率最高的两类。建议在清洗流程中优先对文本做标准化分词，对 GPS 做坐标系转换与漂移过滤。
2.2 数据采集终端与格式规范
不同采集终端输出的数据格式差异明显。统一格式规范是数据清洗的前提。以下为数字工地常见的三类终端及其输出格式特征：
- 专用巡检 PDA：输出结构化 JSON 或 XML，字段固定，但易出现空值与编码错误。
- 智能手机 App：输出混合格式（JSON + 图片 Base64 或 URL），时间戳与 GPS 依赖系统设置，易产生时区偏差。
- IoT 传感器网关：输出 MQTT 或 CoAP 协议数据包，通常为二进制或 CSV 流，需解析后入库。
格式规范要点：
- 文本字段统一使用 UTF-8 编码，禁止混入 BOM 头。
- GPS 坐标统一使用 WGS-84 坐标系，精度保留小数点后 6 位。
- 图片文件命名规则：
巡检点ID_时间戳_序号.jpg，避免中文与特殊字符。 - 传感器数据时间戳统一为 ISO 8601 格式（
YYYY-MM-DDTHH:mm:ssZ）。
// 示例：标准化的巡检记录 JSON 格式
{
"record_id": "INS20250321A001",
"inspector": "张工",
"timestamp": "2025-03-21T14:30:00Z",
"location": {
"lat": 39.904200,
"lng": 116.407400
},
"type": "隐患上报",
"description": "基坑临边防护缺失，长度约 3 米",
"images": [
"PIT_A001_20250321143000_01.jpg",
"PIT_A001_20250321143000_02.jpg"
],
"sensor_data": {
"noise": 82.5,
"pm25": 35.0
}
}
2.3 数据源结构关系
以下 SVG 图展示了移动巡检数据从采集终端到原始数据池的结构关系，帮助理解数据源在清洗前的整体形态：
2.4 常见数据源问题与清洗优先级
根据数字工地实际项目统计，移动巡检数据源中以下三类问题出现频率最高，建议在清洗流程中按优先级处理：
- GPS 坐标漂移与重复（优先级：高）—— 同一巡检点出现多个相距超过 50 米的坐标，或同一坐标对应多条记录。
- 图片与文本关联丢失（优先级：高）—— 图片文件名与巡检记录 ID 无法匹配，或图片 URL 失效。
- 传感器异常值（优先级：中）—— 温度超过 60°C、噪声超过 130 dB 等明显超出物理范围的数据。
注意：GPS 漂移问题在高层建筑密集区域尤为严重。建议在清洗阶段引入卡尔曼滤波或均值平滑算法，同时保留原始坐标字段以备复核。
2.5 数据源清洗前置检查清单
在进入正式清洗流程前，建议对数据源执行以下五项前置检查：
| 检查项 | 检查内容 | 通过标准 |
|---|---|---|
| 1. 字段完整性 | 必填字段是否全部存在 | 缺失率 < 5% |
| 2. 格式一致性 | 时间戳、坐标、编码格式是否统一 | 100% 符合规范 |
| 3. 图片可访问性 | 图片文件是否存在、能否打开 | 可访问率 > 95% |
| 4. 传感器范围 | 数值是否在合理物理范围内 | 异常值占比 < 2% |
| 5. 去重 | 是否存在完全重复的记录 | 重复率 < 1% |