4、数据采集与清洗：航空物流渠道相关数据源、采集方法与清洗规则
航空物流渠道复盘与优化决策的起点，并非模型算法或指标设计，而是数据本身的质量与完整性。渠道复盘涉及运单流转、航班执行、成本核算、时效达成、服务质量等多个维度，任何一个环节的数据缺失、口径不一致或重复记录，都可能导致决策偏差。本章聚焦于航空物流渠道数据的来源识别、采集方法、清洗规则与质量管控，帮助学员建立一套可落地、可复用的数据预处理框架。
4.1 核心数据源识别与分类
航空物流渠道数据分散在多个业务系统中，按用途可分为运单数据、航班数据、成本数据、时效数据、服务质量数据五大类。每类数据源都有其独特的结构、更新频率和业务含义，需要分别建立采集映射。
| 数据类别 | 典型来源系统 | 关键字段示例 | 更新频率 | 主要用途 |
|---|---|---|---|---|
| 运单数据 | TMS、OMS、货站系统 | 运单号、件数、重量、体积、品名、起运地、目的地 | 实时/每小时 | 货量分析、渠道结构 |
| 航班数据 | FMS、离港系统、航空公司系统 | 航班号、日期、机型、起飞/落地时间、舱位、载量 | 实时/每日 | 舱位利用率、航班准点率 |
| 成本数据 | 财务系统、结算系统 | 运费、燃油附加费、地面服务费、报关费、操作费 | 每日/每周 | 渠道成本对比、利润分析 |
| 时效数据 | POD系统、GPS追踪、节点扫描 | 揽收时间、交航时间、起飞时间、落地时间、签收时间 | 实时 | 时效达成率、瓶颈识别 |
| 服务质量 | 客服系统、投诉平台、评价系统 | 投诉类型、延误原因、破损记录、客户评分 | 每日 | 渠道服务质量评估 |
4.2 数据采集方法与技术选型
根据数据源的开放程度和技术条件，采集方法可分为API实时同步、数据库直连抽取、文件批量导入、手工填报与日志采集四类。实际项目中通常混合使用，以覆盖全部数据源。
4.2.1 API实时同步
适用于航空公司、机场货站、第三方物流平台等提供开放接口的场景。通过RESTful API或Web Service定时拉取数据，常用频率为每30分钟至每小时一次。优点是实时性强、数据结构规范；缺点是依赖对方接口稳定性，需处理限流和鉴权。
# 示例：调用航空公司航班状态API（伪代码）
GET /api/v1/flights?date=2025-03-10&carrier=CA
Headers: Authorization: Bearer {}
Response: {"flightNo":"CA1234","depTime":"08:30","arrTime":"11:45","status":"ON_TIME"}4.2.2 数据库直连抽取（ETL）
当数据源系统允许直接访问数据库时，可使用ETL工具（如Kettle、DataX、Sqoop）或编写SQL脚本定时抽取。适合数据量大、历史数据完整的场景。需注意对生产库的影响，建议通过只读副本或备库抽取。
4.2.3 文件批量导入与手工填报
部分中小型货代或海外代理仍以Excel、CSV文件形式提供对账单、舱单等数据。此类数据需建立模板校验机制，在导入前检查列名、行数、必填项。手工填报适用于系统未覆盖的补充字段（如特殊操作备注），但应尽量减少人工录入，以降低错误率。
4.3 数据清洗规则与实施流程
数据清洗的目标是让原始数据达到可用状态，即满足完整性、准确性、一致性、及时性四个维度。清洗流程通常包括：去重 → 缺失值处理 → 异常值检测 → 口径统一 → 格式标准化 → 质量校验六个步骤。
4.3.1 去重规则
以运单号+航班号+日期为联合主键，保留最新一条记录。对于同一运单在不同系统重复上报的情况，需定义优先级规则（如以TMS系统为准，财务系统仅作参考）。
4.3.2 缺失值处理
- 剔除：关键字段（如运单号、重量）缺失时，整条记录删除。
- 插补：非关键字段（如品名、备注）缺失时，可用“未知”或同类均值填充。
- 标记：对于时效数据中的节点缺失，标记为“未扫描”而非直接填充，避免掩盖操作问题。
4.3.3 异常值检测
采用3σ原则或IQR（四分位距）方法识别异常值。例如，某渠道平均运输时效为48小时，标准差为6小时，若某票时效为80小时，则视为异常，需回溯检查是数据录入错误还是真实延误。
4.4 数据质量评估与持续优化
数据清洗不是一次性工作，而是需要持续监控和迭代的过程。建议建立数据质量看板，跟踪以下核心指标：
| 质量维度 | 评估指标 | 目标阈值 | 监控频率 |
|---|---|---|---|
| 完整性 | 关键字段缺失率 | < 2% | 每日 |
| 准确性 | 抽样比对错误率 | < 0.5% | 每周 |
| 一致性 | 跨系统主键匹配率 | > 98% | 每日 |
| 及时性 | 数据延迟时间 | < 4小时 | 实时 |
4.4.1 常见误区与复盘
- 误区一：只关注“有没有数据”，不关注“数据对不对”。建议每次清洗后保留清洗日志，记录删除和修改的记录数。
- 误区二：清洗规则“一刀切”。不同渠道、不同品类的数据特征差异大，需分渠道设置差异化的异常阈值。
- 误区三：忽略时区问题。国际航线涉及多时区，所有时间字段必须统一转换为UTC或北京时间，否则时效计算会出错。