📚 课程目录第3章数据源与采集

3、数据源与采集：民航市场数据的主要来源与合规获取

民航市场分析的本质，是将分散在航班计划、旅客行为、财务报告与空中信号中的信息，转化为可量化、可验证、可预测的决策依据。不同数据源在时效性、粒度、覆盖范围和获取成本上差异巨大——民航局统计偏重宏观权威，IATA与OAG长于运力网络，ADS-B提供实时动态，OTA爬虫捕捉消费意愿，航司财报则揭示经营质量。理解这些数据源的特性、采集路径与合规边界，是构建可靠分析体系的第一步。

上图展示了民航市场分析中六类核心数据源与中心分析框架的关系。每一类数据源都有其独特的采集方式、更新频率和适用场景，下面逐一展开。

3.1 民航局统计：权威宏观基准

核心原理：民航局（CAAC）定期发布的《民航行业发展统计公报》《生产统计公报》以及月度运输量数据，是行业最权威的宏观基准。数据涵盖旅客运输量、货邮运输量、正班客座率、正班载运率、航班正常率等核心指标，按全国、地区、航线类型（国内/国际/地区）分层统计。

获取方法：通过民航局官网“统计数据”栏目下载PDF或Excel文件，部分数据通过“中国民航统计年鉴”出版。关键指标包括：

运输总周转量（亿吨公里）：衡量行业整体规模
旅客运输量（万人次）：反映市场需求总量
正班客座率（%）：供需匹配效率
航班正常率（%）：运行品质与准点表现

数据项	更新频率	粒度	典型用途
旅客运输量	月度	全国/地区	市场总量趋势判断
航班正常率	月度	航空公司/机场	运行品质对标
航线运输量	年度	航线级别	航线价值评估
机场吞吐量	月度	机场级别	机场竞争格局

经验提醒：民航局数据发布存在1-2个月滞后期，适合做季度/年度趋势分析，不适合实时决策。分析时注意口径变化（如2023年起旅客运输量口径调整），需与历史数据做一致性校验。

3.2 IATA与OAG：全球运力网络视角

核心原理：IATA（国际航空运输协会）提供全球航空运输统计、票价数据、旅客预测；OAG（Official Airline Guide）则专注于航班时刻表与运力数据。这两类数据源的核心价值在于运力视角——即航空公司计划投入的座位数、航班频次、机型布局，是分析市场供给端的关键输入。

操作流程：

确定分析范围（航线、机场、航司、区域）
从OAG提取航班计划（Flight Schedule），包含航班号、起降时刻、机型、班期
计算可用座位公里（ASK）、可用座位数、航班频次
结合IATA客运数据计算客座率、收益水平
对比历史同期，识别运力增减与网络调整

  实战场景：某航司规划新开国际航线，使用OAG数据发现目标航线过去12个月运力增长23%，但客座率从82%降至74%，说明供给增速快于需求，需谨慎评估进入时机。同时对比IATA区域客运预测，判断未来两年需求弹性。

常见误区：OAG数据是“计划运力”而非“实际执飞”，需结合ADS-B或民航局实际执行数据校准。此外，OAG对低成本航司的覆盖可能不完整，需交叉验证。

3.3 ADS-B实时轨迹：动态运行真相

核心原理：ADS-B（广播式自动相关监视）是飞机通过卫星导航确定位置后，周期性向外广播其位置、高度、速度、航向等信息的监视技术。地面接收站或卫星接收后可还原航班实时轨迹，是分析实际执飞情况的最佳数据源。

数据获取方式：

自建接收站：使用RTL-SDR等低成本硬件接收1090MHz信号，配合开源软件（如dump1090）解码
商业数据服务：FlightAware、FlightRadar24等提供API接口，按调用量收费
卫星ADS-B：Aireon等公司提供全球覆盖，适合海洋、偏远地区

# 示例：使用dump1090接收并输出JSON格式数据
dump1090 --net --net-http-port 8080 --json-dir /data/adsb
# 数据字段示例：{"hex":"7806C3","flight":"CCA1837","lat":39.98,"lon":116.38,"alt":35000,"speed":480}

分析应用：实际执飞航班量、取消率、平均延误时长、航路偏离、机场起降架次。这些指标能真实反映运行状态，弥补计划数据的不足。

风险提示：ADS-B数据存在接收盲区（尤其低空、山区），且部分航班可能关闭应答机。分析时需设定最小样本量阈值，避免因数据缺失导致误判。

3.4 OTA爬虫：捕捉消费端信号

核心原理：OTA（在线旅游平台）如携程、去哪儿、Expedia等，展示了面向消费者的实时票价、余票、搜索热度、航班推荐排序。爬取这些数据可以捕捉需求端的价格敏感度、搜索趋势和转化特征，是市场分析中“温度计”型数据。

采集要点：

数据维度	采集频率	用途
最低票价	每日多次	价格竞争格局
航班余票数	每2-4小时	供需紧张度
搜索热度指数	每日	需求趋势预判
推荐排序	每日	平台流量分配

合规性关键：爬虫必须遵守目标网站的robots.txt、服务条款（ToS），控制请求频率避免对服务器造成压力。更稳妥的方式是使用OTA官方开放API（如携程开放平台）或与数据服务商合作。

  案例拆解：某研究机构分析京沪航线价格弹性。通过OTA爬虫连续30天采集每日6个时间点的最低票价，结合ADS-B实际执飞数据，发现：当航班量减少10%时，平均票价上升18%，但搜索量仅下降3%，说明需求刚性较强。该结论为航司收益管理提供了量化依据。

3.5 航司财报：经营质量透视

核心原理：航司定期发布的财务报告（季报/年报）包含收入结构、成本构成、客座率、单位收益（RASK）、单位成本（CASK）等关键经营指标。这些数据反映航司的盈利能力和运营效率，是评估竞争格局和行业健康度的重要输入。

关键指标解读：

客座率（PLF）：旅客公里/可用座位公里，反映供需匹配
单位收益（RASK）：客运收入/可用座位公里，衡量定价能力
单位成本（CASK）：运营成本/可用座位公里，反映成本控制
辅助收入占比：行李、选座、餐食等非票收入比例

获取渠道：航司官网投资者关系页面、港交所/上交所公告系统、Wind/Choice等金融终端。注意不同会计准则（CAS/IFRS）对数据可比性的影响。

经验提醒：财报数据滞后3-6个月，适合做中期战略分析。分析时需剔除一次性损益（如资产处置、汇兑损益），还原核心经营表现。

3.6 数据合规与治理框架

合规性核心原则：

公开数据直接使用：民航局统计、航司财报、IATA公开摘要等，可直接引用并注明出处
商业数据需授权：OAG、Cirium、FlightAware等商业数据需购买许可，注意使用范围限制
爬虫合规：遵守robots.txt、ToS，控制频率，不采集个人隐私信息
个人数据脱敏：涉及旅客行为数据需匿名化处理，符合《个人信息保护法》
数据存储安全：敏感数据加密存储，访问权限分级管控

数据源	合规等级	主要风险	缓解措施
民航局统计	完全合规	无	注明出处
IATA/OAG	需授权	超范围使用	签订数据使用协议
ADS-B	公开/商业	数据误用	遵守接收设备规定
OTA爬虫	灰色地带	ToS违约、封IP	限速、使用API
航司财报	完全合规	无	注明来源

风险警示：2023年某数据公司因爬取OTA票价数据被起诉，法院认定其违反平台ToS构成不正当竞争。建议优先使用官方API或商业数据服务，爬虫仅作为补充且严格控制频率。

3.7 多源数据融合策略

核心原理：单一数据源往往存在偏差或盲区，多源融合可以相互校验、补充维度。例如：OAG计划运力 + ADS-B实际执飞 = 真实运力投放；民航局宏观数据 + OTA票价 = 供需关系判断；航司财报 + IATA行业数据 = 竞争定位分析。

融合流程：

明确分析目标，确定所需数据维度
建立统一的时间粒度和地理维度（如按周、按航线）
数据清洗：处理缺失值、异常值、口径不一致
交叉验证：用高可信数据校验低可信数据
构建分析数据集，形成可视化看板

  实战案例：某咨询公司为机场客户分析航线网络优化方案。融合OAG运力数据（供给）、民航局吞吐量（实际需求）、OTA票价（价格水平）、ADS-B准点率（运行质量），建立航线健康度评分模型。发现某二线城市-一线城市航线虽然客座率高达88%，但准点率仅61%，且票价持续走低，实际收益不佳。最终建议机场调整时刻分配，引导航司更换宽体机并优化班期。

总结复盘：数据源选择没有“万能解”，关键在于理解各数据源的能力边界与合规约束。建议建立“核心数据资产清单”，明确每类数据的更新机制、质量标准和责任人。在实际分析中，优先使用权威公开数据作为基准，商业数据补充细节，爬虫数据仅作趋势参考。合规是底线，数据质量是生命线，两者缺一不可。