3、数据基础概念：数据采集、数据清洗、数据存储、数据标注、数据质量评估等基本术语与流程
低空运营（无人机物流、城市空中交通、农业植保、电力巡检等）本质上是一个数据驱动的业务。飞行器每秒钟产生数十至数百条遥测数据，地面站记录指令与状态，运营平台沉淀订单与气象信息。如果对这些数据的生命周期没有清晰认知，后续的案例复盘、故障归因、效率优化都将失去根基。本章围绕数据从产生到消费的五个核心环节——采集、清洗、存储、标注、质量评估，建立统一术语框架与操作流程，为后续章节的案例库构建打下语言与逻辑基础。
3.1 数据采集：低空运营的“感知神经”
核心原理
数据采集是数据生命周期的起点，指从各类传感器、飞控系统、地面站、业务平台及外部环境中获取原始数据的过程。在低空运营场景中，采集对象可分为四类：飞行数据（IMU、GPS/RTK、气压计、磁力计等）、任务载荷数据（可见光/红外影像、激光雷达点云、多光谱数据）、运营环境数据（气象、空域、地形、电磁干扰）以及业务过程数据（任务指令、操作日志、维护记录）。采集方式分为主动采集（传感器实时上报）与被动采集（日志记录、事后导出）。
采集流程与关键参数
- 确定采集目标：明确“为什么采”——是用于飞行安全监控、任务效果评估，还是运营效率分析？不同目标决定采集频率与精度。
- 配置采集参数：包括采样频率（如 IMU 通常 100-400Hz，GPS 5-20Hz）、分辨率（影像/点云）、精度等级、时间同步策略。
- 建立采集通道：通过飞控日志、SDK 接口、地面站软件、云平台 API 等渠道获取数据。
- 时间同步与坐标统一：确保各传感器数据具有统一时间戳（如 PPS 授时）和坐标系（如 WGS84、UTM）。
- 原始数据落盘：按固定格式（如 ULog、Blackbox、CSV、JSON）写入机载存储或实时回传地面。
| 数据类型 | 典型来源 | 采样频率 | 数据量级（1小时飞行） | 主要用途 |
|---|---|---|---|---|
| IMU 数据 | 飞控内置传感器 | 100-400 Hz | 约 50-200 MB | 姿态解算、振动分析 |
| GPS/RTK 数据 | GNSS 模块 | 5-20 Hz | 约 5-20 MB | 定位、航线偏差分析 |
| 任务载荷影像 | 可见光/多光谱相机 | 1-10 帧/秒 | 约 2-10 GB | 巡检目标识别、测绘 |
| 运营日志 | 地面站/云平台 | 事件触发 | 约 1-5 MB | 操作复盘、合规审计 |
3.2 数据清洗：去伪存真，还原事实
核心原理
原始数据往往包含噪声、缺失、重复、异常值等问题。数据清洗是指通过规则或算法对原始数据进行检测、修正、剔除或插补，使其满足后续分析与建模的质量要求。在低空场景中，GPS 跳变、IMU 温漂、通信丢包、传感器瞬时故障是常见的数据污染源。
清洗操作流程
- 格式统一：将不同来源数据转换为统一 schema（字段名、单位、精度）。
- 去重：识别并移除因重传、多通道记录造成的重复记录。
- 缺失值处理：根据业务规则选择删除、线性插值、样条插值或基于物理模型的填补。
- 异常值检测：使用阈值判断（如高度超过 500m 视为异常）、统计方法（3σ 原则）、或基于相邻点突变检测。
- 时间对齐：将不同频率数据重采样到统一时间轴（如前向填充、线性插值）。
- 噪声平滑：对高频抖动数据使用低通滤波（如卡尔曼滤波、滑动平均）。
3.3 数据存储：分层架构与生命周期管理
核心原理
低空运营数据具有多模态（结构化遥测 + 非结构化影像）、高吞吐（每秒数千条记录）、时间敏感（近期数据高频访问）等特点。存储设计需兼顾写入性能、查询效率与成本控制。推荐采用分层存储架构：热存储（近期 7 天）、温存储（7-90 天）、冷存储（90 天以上归档）。
存储选型建议
| 数据类型 | 推荐存储方案 | 访问模式 | 保留周期 |
|---|---|---|---|
| 遥测时序数据 | 时序数据库（InfluxDB、TDengine、TimescaleDB） | 高频写入、按时间范围查询 | 热 7 天 / 温 90 天 / 冷 2 年 |
| 任务影像/点云 | 对象存储（MinIO、AWS S3、阿里云 OSS） | 低频写入、按任务 ID 检索 | 按项目需求，通常 1-3 年 |
| 运营日志/指令 | 文档数据库（MongoDB）或 Elasticsearch | 追加写入、全文检索 | 热 30 天 / 冷 1 年 |
| 标注结果/案例库 | 关系型数据库（PostgreSQL、MySQL） | 低频写入、关联查询 | 长期保存 |
3.4 数据标注：赋予数据业务语义
核心原理
数据标注是为原始数据添加业务标签或语义信息的过程，使机器可理解、可检索、可训练。在低空运营案例库中，标注是将“飞行日志”转化为“可复盘案例”的关键桥梁。标注分为结构化标注（字段级标签）和语义标注（事件级描述）。
标注体系设计
- 基础属性标注：机型、任务类型、起降点、飞行员 ID、天气条件、时间段。
- 事件标注：故障类型（动力、通信、导航、任务载荷）、严重等级（轻微/一般/严重/致命）、发生阶段（起飞/巡航/作业/降落）。
- 行为标注：操作动作（手动接管、紧急返航、悬停等待）、决策依据。
- 结果标注：任务是否完成、损失情况、人员伤亡、延误时长。
① 基础属性：机型（大疆 M300 RTK）、任务（高压线巡检）、风速（6.5m/s）、时间（下午 3:20）；
② 事件标注：故障类型（碰撞障碍物）、严重等级（严重）、发生阶段（作业中）；
③ 行为标注：飞手操作（未开启避障雷达）、决策（继续沿航线飞行）；
④ 结果标注：任务中断、飞机坠毁、无人员伤亡、直接损失 8 万元；
⑤ 根因标签：环境因素（光线逆光）+ 人为因素（未检查避障开关）。
这套标注使该案例在后续检索中可通过“碰撞 + 人为失误 + 严重事故”快速定位，为同类事故预防提供了精准参考。
3.5 数据质量评估：量化数据可信度
核心原理
数据质量评估是对数据满足业务需求程度的度量。低空运营中，数据质量直接影响安全判断与复盘结论的可靠性。评估维度包括：完整性（数据是否缺失）、准确性（数据是否反映真实值）、一致性（多源数据是否矛盾）、及时性（数据是否延迟）、有效性（数据是否在合理范围内）。
评估流程与量化指标
- 定义质量基线：根据业务场景设定各维度阈值（如遥测完整率 ≥ 99%，GPS 有效定位率 ≥ 95%）。
- 自动化巡检：通过脚本定期扫描数据，计算各维度得分。
- 人工抽检：对自动化结果进行抽样复核，特别是异常事件相关数据。
- 生成质量报告：输出各架次/任务的数据质量评分，标记不合格项。
- 反馈改进：将质量问题反馈至采集端（调整采样策略）、清洗端（优化规则）或标注端（修正标签）。
| 评估维度 | 量化指标 | 低空运营典型阈值 | 常见问题 |
|---|---|---|---|
| 完整性 | 字段完整率、时间覆盖率 | 遥测完整率 ≥ 99% | 通信中断导致数据缺失 |
| 准确性 | 与真值偏差、传感器校准误差 | 高度误差 ≤ ±2m | 气压计未校准、GPS 漂移 |
| 一致性 | 多源数据交叉验证差异率 | IMU 与 GPS 速度差 ≤ 3m/s | 时间戳不同步 |
| 及时性 | 数据延迟时间 | 实时遥测延迟 ≤ 500ms | 链路拥堵、处理延迟 |
| 有效性 | 值域检查通过率 | 异常值占比 ≤ 0.1% | 传感器瞬时故障 |
3.6 数据全链路复盘：从原始数据到决策洞察
理解各环节后，需要建立端到端的数据链路思维。一次完整的低空运营数据复盘，通常经历以下路径：原始采集 → 清洗对齐 → 存储归档 → 标注索引 → 质量评估 → 案例提取 → 根因分析 → 策略优化。每个环节的缺陷都会向下游传导，最终影响复盘结论的可靠性。
① 从时序库提取最近 30 天所有降落段遥测数据（共 1,200 架次）；
② 清洗后剔除 37 架次因通信中断导致数据不完整的记录；
③ 对剩余数据标注“是否偏离”（偏离 > 2m 记为异常），共标记 86 架次；
④ 质量评估发现其中 12 架次 GPS 定位精度因子（PDOP）偏高，数据可信度存疑，单独分组分析；
⑤ 对 74 架次有效异常数据做特征分析，发现 68% 集中在风速 > 8m/s 且采用“自动降落”模式的架次；
⑥ 结论：自动降落算法在强风条件下的修正策略存在缺陷。优化算法后，偏离率从 7.2% 降至 2.1%。
复盘要点：如果没有严格的数据清洗与质量评估，12 架次“假异常”可能干扰结论方向；如果没有统一标注规范，86 架次异常难以快速聚类分析。
3.7 常见误区与总结
| 误区 | 后果 | 正确做法 |
|---|---|---|
| “数据越多越好”——盲目追求高频率采集 | 存储成本激增，有效信息密度下降 | 按业务场景分级设定采样频率 |
| “清洗会丢失真实数据”——过度保守 | 异常值干扰分析结论 | 建立清洗规则白名单，保留原始数据备份 |
| “存储就是备份”——忽视查询效率 | 复盘时数据检索耗时过长 | 按访问模式设计分层存储与索引 |
| “标注是事后工作”——标注滞后 | 案例库建设缓慢，历史数据难以追溯 | 建立实时/准实时标注流程 |
| “质量评估是 IT 部门的事”——业务脱节 | 质量指标与业务价值不匹配 | 运营人员参与定义质量基线 |