3、数据采集基础：数据源类型（WMS、TMS、IoT传感器、手工记录）、采集方式（API、文件导入、手工录入）及适用场景
航空物流的数据采集是整个质量分析体系的“原材料入口”。如果采集环节出现遗漏、延迟或格式混乱，后续无论采用多先进的统计模型或可视化工具，都无法产出可信的结论。本章聚焦于航空物流场景下最常见的数据源类型与采集方式，帮助学员建立“先分类、再选路、后治理”的采集思维。
3.1 数据源类型：从业务系统到物理世界的四类信号
航空物流的数据源可以划分为四个大类，每一类在数据特征、更新频率、结构化程度上都有显著差异。理解这些差异是选择采集方式的前提。
3.1.1 WMS（仓储管理系统）数据源
WMS 是航空货运站内部作业的核心系统，记录从货物入库、库位分配、拣选、组板到出库的全流程状态。典型数据表包括：入库单、出库单、库存快照、库位变动记录、盘点差异表、操作人员与时间戳。WMS 数据的核心特征是强结构化、高准确性、字段固定，通常以关系型数据库表形式存储。
3.1.2 TMS（运输管理系统）数据源
TMS 管理货物从机场到机场、机场到城市分拨中心的运输过程。关键数据包括：运单号、航班号、起降时间、驳运车辆轨迹、节点签收记录、温度/湿度记录（若车辆配备传感器）、异常事件日志。TMS 数据的特征是事件驱动、时间敏感、跨系统关联，往往需要与航班动态数据、海关放行数据交叉验证。
3.1.3 IoT 传感器数据源
IoT 传感器是航空物流中增长最快的数据源，尤其适用于温控药品、生鲜冷链、危险品和贵重物品。常见传感器类型包括：温湿度记录仪（货舱/集装箱内）、三轴振动传感器（检测粗暴搬运）、光照传感器（判断是否开箱）、GPS/北斗定位模块、门磁开关。IoT 数据的特征是高频采样（秒级/分钟级）、时序性强、数据量大、可能存在缺失或漂移。
3.1.4 手工记录数据源
尽管自动化程度不断提高，手工记录仍然是航空物流中不可替代的补充。典型场景包括：异常事件报告（如货物破损、延误原因说明）、交接班记录、安检异常备注、客户特殊要求备注。手工记录的特征是非结构化或半结构化、主观性强、信息密度低但语义丰富，往往包含系统无法自动捕获的“例外情况”。
| 数据源类型 | 典型字段示例 | 更新频率 | 结构化程度 | 质量风险点 |
|---|---|---|---|---|
| WMS | 库位、批次、出入库时间、操作员 | 实时/分钟级 | 高 | 人为误操作、系统间时差 |
| TMS | 运单号、节点时间、轨迹坐标、异常码 | 事件触发/分钟级 | 中高 | 网络断传、节点漏扫 |
| IoT 传感器 | 温度值、湿度值、振动峰值、时间戳 | 秒级/分钟级 | 中（时序数据） | 传感器漂移、电量耗尽、信号遮挡 |
| 手工记录 | 异常描述、处理人、时间、照片 | 低频/事件驱动 | 低 | 漏记、错记、字迹/语义歧义 |
3.2 采集方式：API、文件导入与手工录入的选型逻辑
采集方式的选择不是越先进越好，而是取决于数据源的系统能力、业务实时性需求以及运维成本。以下从原理、操作流程和适用边界三个维度展开。
3.2.1 API 接口采集（实时/准实时）
API 采集通过系统间定义的接口协议自动获取数据。航空物流中常见的 API 形式包括：RESTful API（同步请求-响应）、WebSocket（双向实时推送）、消息队列（如 Kafka、RabbitMQ，异步解耦）。API 采集的核心优势是时效性高、自动化程度高、减少人工干预，适合对温度、位置、状态变化敏感的实时监控场景。
API 采集的操作流程通常包括：
- 接口调研：确认数据源系统是否提供 API 文档、鉴权方式（/Key）、调用频率限制。
- 字段映射：将源系统字段与目标数据模型字段一一对应，注意单位换算（如温度从华氏转为摄氏）。
- 异常处理：设计重试机制、超时告警、断点续传策略。
- 监控与日志：记录每次调用的状态码、响应时长、数据量，便于排查故障。
3.2.2 文件导入采集（批量/定时）
文件导入是航空物流中最成熟、最稳定的采集方式。数据源系统定期导出文件（CSV、Excel、JSON、XML），采集端通过定时任务或消息触发读取并解析入库。典型应用场景包括：每日零点从 WMS 导出前一日库存快照、每周从 TMS 导出运单结算明细、每月从财务系统导出成本分摊表。
文件导入的流程清单：
- 文件命名规范：建议包含业务类型+日期+版本号，如
wms_inventory_20250601_v2.csv。 - 校验规则：检查文件是否完整（行数、列数）、字段格式、编码（UTF-8 vs GBK）。
- 增量 vs 全量：增量文件体积小但依赖源系统标记；全量文件简单但需处理重复数据。
- 归档与审计：处理后的文件应归档保存至少 180 天，便于追溯。
3.2.3 手工录入采集（低频/补充）
手工录入是最后一道“兜底”手段，适用于系统间未打通、异常临时登记、非标准备注等场景。航空物流中常见的手工录入工具包括：Web 表单（如异常报告系统）、移动端 APP（如现场拍照上传）、Excel 模板（离线填写后导入）。
手工录入的适用判断标准：
- 该数据是否无法从任何系统自动获取？
- 该数据是否属于低频事件（如每日不超过 20 条）？
- 该数据是否需要人工判断和语义描述（如破损原因分析）？
3.3 案例拆解：某航空货运站温控药品全链路数据采集方案
为帮助学员理解数据源与采集方式的组合应用，以下拆解一个真实场景的简化案例。
背景与约束：某国际航空货运站承接疫苗冷链运输业务，要求全程温度监控并留存质量证据。货站现有 WMS（负责库内管理）、TMS（负责港到港运输）、IoT 温湿度记录仪（部署在冷库和主动温控集装箱内）。业务约束：疫苗对温度极其敏感（2-8°C），一旦超温需立即告警并启动调查；同时民航局要求保存至少 3 年的温度数据备查。
初始现象与目标：此前温度数据分散在三个系统中，质量人员需要手动导出 Excel 后拼接分析，耗时 2 小时/批次，且无法实时发现超温。目标是将采集自动化率从 30% 提升到 95%，超温告警延迟不超过 5 分钟。
关键输入数据与参数：
- WMS 提供：入库时间、库位、出库时间、操作员 ID。
- TMS 提供：运单号、航班号、驳运车 GPS 轨迹、节点签收时间。
- IoT 传感器提供：每 5 分钟记录一次温度/湿度，数据通过网关上传至云平台。
分析判断过程：
- 首先评估实时性需求：疫苗在库和运输途中均需实时监控，因此 IoT 数据必须采用 API 采集（WebSocket 推送），而非文件导入。
- WMS 和 TMS 数据更新频率为分钟级，且已有成熟接口，采用 RESTful API 每 5 分钟拉取一次增量数据。
- 对于异常事件（如超温报警后的处理记录），设计手工录入表单，由现场人员填写处理措施和原因。
- 每日凌晨 2 点，通过文件导入方式从三个系统导出前一日全量数据，作为日终对账和长期归档。
实际操作步骤：
1. IoT 平台配置 Webhook 推送 → 数据中台接收并解析 JSON 消息
2. 编写 Python 脚本调用 WMS/TMS 的 REST API（OAuth2 鉴权）
3. 设置定时任务（Airflow）每 5 分钟拉取增量数据
4. 开发异常事件手工录入 Web 表单（含必填校验）
5. 每日 02:00 自动下载三个系统的 CSV 文件并入库
6. 建立统一数据模型：fact_temperature_record, fact_warehouse_event, fact_transport_event结果对比：
| 指标 | 改造前 | 改造后 |
|---|---|---|
| 数据采集自动化率 | 30% | 96% |
| 超温告警延迟 | 约 2 小时（人工发现） | ≤ 3 分钟 |
| 批次数据整理耗时 | 2 小时 | 15 分钟 |
| 数据完整率 | 82% | 99.5% |
风险与代价：API 接口偶尔因网络抖动导致超时，需设计重试机制（最多 3 次，间隔 30 秒）；IoT 传感器存在 2% 的掉线率，需每日巡检并在数据中标记缺失区间；手工录入表单上线初期，现场人员抵触情绪较大，通过简化表单字段（从 12 项减至 6 项）和培训后逐步接受。
复盘经验：混合采集策略是航空物流的常态——实时性要求高的用 API，批量对账用文件，异常补充用手工。关键不是追求全自动化，而是让每种数据源找到最合适的采集通道，并建立数据质量监控看板。
3.4 常见误区与总结复盘
在数据采集实践中，以下误区值得警惕：
- 误区一：所有数据都追求实时 API。实际上，日终结算、月度统计等场景使用文件导入更稳定、成本更低。
- 误区二：忽略手工记录的价值。系统数据只能回答“发生了什么”，手工记录才能回答“为什么发生”。
- 误区三：采集后不做校验。数据采集不是“拿到就算完”，必须设置完整性、唯一性、范围校验规则。
- 误区四：没有统一时间戳规范。不同系统使用不同时区（UTC vs 北京时间），导致后续分析时间错位。