3、量化评估基础：数据来源、数据类型、数据清洗与预处理、常用统计指标
航线开拓决策若仅依赖经验判断，往往会在市场环境剧变时失去锚点。量化评估的核心在于将“模糊的市场感知”转化为“可比较、可追踪、可验证的数值信号”。本章作为量化评估体系的基石，聚焦于四个关键环节：数据从哪来、数据长什么样、如何把脏数据变成可用数据、以及用哪些统计指标来刻画市场特征。理解并掌握这些基础，是后续构建航线评估模型、设定阈值与权重的前提。
3.1 数据来源：构建多维数据获取矩阵
航线开拓评估所需数据不能依赖单一渠道，必须建立“内部+外部+第三方+实地”的立体数据矩阵。内部数据包括历史航班运营数据（客座率、票价、燃油成本）、常旅客分布、现有航线网络结构；外部数据涵盖目的地GDP、人口、贸易额、旅游热度、签证政策；第三方商业数据包括OTA平台搜索指数、GDS订座数据、机场时刻资源；实地调研数据则包括机场设施评估、地面交通接驳、本地代理渠道能力。
核心原理：数据源互补性
不同数据源之间存在互补与验证关系。内部数据反映“我们能做什么”，外部数据反映“市场是否需要”，第三方数据反映“竞争格局如何”，实地调研反映“落地可行性”。单一数据源往往存在盲区，例如仅依赖内部历史数据会忽略市场结构变化，仅依赖宏观统计会忽视运营细节。
操作流程：数据源评估清单
| 数据源类型 | 典型指标 | 获取成本 | 更新频率 | 可靠性 |
|---|---|---|---|---|
| 内部运营 | 客座率、票价、成本 | 低 | 实时 | 高 |
| 外部公开 | GDP、人口、贸易 | 低 | 年度/季度 | 中高 |
| 第三方商业 | 搜索指数、订座量 | 中高 | 周/日 | 中 |
| 实地调研 | 设施、渠道、竞争 | 高 | 一次性 | 高（但样本有限） |
3.2 数据类型：识别数据本质特征
数据类型决定了后续处理方法和统计指标的选择。航线评估中常见的数据类型包括：结构化数据（数据库表格、CSV文件）、半结构化数据（JSON格式的API返回、XML报文）、非结构化数据（机场调研照片、旅客评论、政策文件）。从时间维度看，又可分为时间序列数据（逐日客流量、月度油价）和横截面数据（同一时点不同航线的对比数据）。
判断方法：数据类型识别矩阵
- 结构化数据：适合SQL查询、Excel透视表、回归分析，可直接进入统计建模环节。
- 半结构化数据：需要解析（如JSON解析），提取关键字段后转为结构化表格。
- 非结构化数据：需要NLP文本分析或人工编码，转化为可量化指标（如情感得分、设施评分）。
- 时间序列数据：关注趋势、季节性、周期性，需检查平稳性。
- 横截面数据：关注分布特征、离群值、组间差异。
3.3 数据清洗与预处理：从原始数据到可用数据
原始数据往往存在缺失、重复、异常、格式不一致等问题。数据清洗的目标是提升数据质量，确保后续统计指标计算和模型构建的可靠性。清洗过程通常占整个量化评估工作量的40%-60%，是决定评估质量的关键环节。
操作流程：五步清洗法
- 缺失值处理：先判断缺失机制（随机缺失/非随机缺失），再选择删除、均值/中位数填充、插值法或模型预测填充。对于航线评估，关键变量（如客座率）缺失超过30%时建议删除该变量。
- 异常值检测：使用3σ原则、IQR（四分位距）法或箱线图识别异常值。例如某航线单日票价突然为0，可能是系统错误而非真实价格。
- 去重与一致性检查：同一航班在不同数据源中可能重复记录，需按航班号+日期+舱位去重；检查单位统一（如美元/人民币、公里/英里）。
- 标准化/归一化：当不同指标量纲差异大（如GDP以亿美元计、客座率以百分比计）时，需进行Z-score标准化或Min-Max归一化，使指标可比。
- 数据变换：对偏态分布明显的变量（如票价分布）进行对数变换，使其接近正态分布，满足统计检验前提。
案例拆解：某新兴市场航线数据清洗实战
背景：某航司拟评估“上海—雅加达”航线，收集了12个月的外部市场数据，包括GDS订座量、OTA搜索量、当地酒店均价、汇率波动。
初始问题：GDS订座数据存在约15%缺失（部分日期未上报），OTA搜索量存在重复计数（同一用户多次搜索），汇率数据存在异常跳变（某日波动超过5%）。
处理过程：
- 缺失值：采用前向填充法处理GDS订座数据（因市场趋势具有连续性），并对填充后的数据进行敏感性分析。
- 重复值：按“用户ID+搜索时间戳”去重，将搜索量降低约22%，更接近真实需求。
- 异常值：汇率跳变经核实为数据录入错误，修正为前一日汇率。
- 标准化：将GDP、人口、搜索量、订座量统一进行Z-score标准化，消除量纲影响。
结果：清洗后的数据进入回归模型，R²从0.42提升至0.67，模型解释力显著增强。若跳过清洗步骤，模型可能被异常值误导，得出“汇率对需求无影响”的错误结论。
3.4 常用统计指标：刻画市场特征的核心工具
统计指标是量化评估的语言。均值、方差、分位数、相关系数等指标从不同维度刻画数据分布特征，帮助评估者理解市场中心趋势、波动程度、极端情况和变量间关系。
核心指标详解
| 指标 | 公式/定义 | 航线评估应用场景 | 注意事项 |
|---|---|---|---|
| 均值 | Σx/n | 平均客座率、平均票价 | 易受极端值影响，需结合中位数 |
| 中位数 | 排序后中间值 | 典型票价水平 | 对异常值稳健 |
| 方差/标准差 | Σ(x-μ)²/n | 票价波动、需求稳定性 | 标准差大说明市场不确定性高 |
| 分位数 | P25/P50/P75 | 淡旺季分布、低需求风险 | P10可视为极端风险情景 |
| IQR | P75-P25 | 识别异常值、市场集中度 | IQR大说明数据分散 |
| 偏度 | 三阶中心矩 | 票价分布形态 | 正偏态说明高价航班少但极高 |
| 相关系数 | Pearson/Spearman | 需求与GDP、油价与成本 | 相关系数≠因果关系 |
判断方法：指标选择逻辑
评估航线盈利潜力时，优先关注均值和中位数（代表典型水平）；评估市场风险时，关注标准差和分位数（代表波动与尾部风险）；评估市场结构时，关注偏度和峰度（代表分布形态）；评估变量关联时，使用相关系数矩阵。例如，若某航线票价标准差极大（P90是P10的5倍），说明市场存在明显的淡旺季分化，需制定灵活定价策略。
总结复盘：量化评估基础的关键要点
- 数据来源多元化：至少融合3类以上数据源，避免单一视角偏差。
- 类型识别先行：在清洗前先明确数据类型，选择对应处理方法。
- 清洗留痕：所有清洗操作可追溯、可复现。
- 指标组合使用：不要只依赖均值，需结合分位数、标准差、相关系数形成完整画像。
- 警惕数据陷阱：注意幸存者偏差（仅统计成功航线）、时间窗口偏差（旺季数据代表全年）、口径不一致（不同来源的“客座率”定义可能不同）。