4、数据基础与采集：识别需求预测所需的数据类型及数据来源
集装箱需求预测并非凭空推演，而是建立在高质量、多维度数据基础之上的系统工程。预测模型的精度上限，往往不取决于算法本身，而取决于输入数据的质量、粒度与覆盖度。本章将系统梳理需求预测所需的核心数据类型、主流数据来源渠道，以及数据采集与治理过程中的关键注意事项，帮助学员建立从“数据采集”到“特征工程”的完整认知框架。
4.1 核心数据类型：从宏观到微观的多维数据矩阵
集装箱需求预测所需数据可划分为四大类：历史运量数据、贸易与经济数据、运力供给数据、外部环境数据。每一类数据在预测模型中承担不同角色，其时间粒度、更新频率和数据质量要求也各不相同。
| 数据类别 | 关键指标 | 预测角色 | 推荐粒度 | 更新频率 |
|---|---|---|---|---|
| 历史运量数据 | TEU运量（分航线/分港口/分货种） | 预测目标变量（Y） | 周/月 | 实时/日更 |
| 订舱量、重箱/空箱比例 | 短期波动信号 | 日/周 | 日更 | |
| 舱位利用率、船舶装载率 | 运力紧张程度 | 航次/周 | 航次后更新 | |
| 贸易与经济数据 | 进出口贸易额（HS编码分类） | 中长期趋势驱动 | 月/季 | 月度发布 |
| GDP、工业增加值、PMI | 宏观景气度 | 月/季 | 月度/季度 | |
| 汇率、油价、利率 | 成本与需求弹性 | 日/周 | 日更 | |
| 运力供给数据 | 全球/区域运力投放（TEU·海里） | 供需平衡分析 | 周/月 | 周更 |
| 新船交付、船舶拆解、闲置运力 | 中期供给变化 | 月/季 | 月度 | |
| 外部环境数据 | 地缘政治事件、港口拥堵指数 | 异常扰动识别 | 事件/日 | 实时 |
| 天气、季节性节假日 | 周期性波动 | 日/周 | 日历固定 |
4.2 数据来源渠道：官方统计、行业平台与企业系统
不同数据类型对应不同的获取渠道。数据来源的权威性、时效性和获取成本是选择渠道时需权衡的三个核心维度。
4.2.1 官方与权威机构数据源
- 海关总署：提供最权威的进出口贸易统计数据，可按HS编码、贸易伙伴国、运输方式等维度交叉查询。数据通常滞后1-2个月发布，适合中长期趋势分析。
- 国家统计局：发布GDP、工业增加值、社会消费品零售总额等宏观指标，月度/季度更新，是构建宏观经济领先指标的基础数据。
- 交通运输部：公布全国港口货物吞吐量、集装箱吞吐量等核心运营数据，月度发布，是验证预测结果的重要基准。
- 国际组织：IMF、世界银行、WTO等发布全球经济增长预测、贸易量预测，为长期需求判断提供外部参考。
4.2.2 行业与商业数据平台
- 航运交易所：上海航运交易所发布SCFI（上海出口集装箱运价指数）、CCFI（中国出口集装箱运价指数），反映市场运价走势；波罗的海交易所发布BDI、FBX等指数。
- 咨询机构：Drewry、Clarksons、Alphaliner等发布全球集装箱船队运力、新船订单、航线运力配置等专业数据，是运力供给分析的核心来源。
- 物流数据平台：Container Trades Statistics（CTS）提供全球主要航线集装箱货量统计，覆盖约全球80%的集装箱贸易量，是行业公认的货量基准数据。
- 港口数据服务：部分港口集团（如上海港、宁波舟山港）通过官方渠道发布月度吞吐量快报，时效性优于交通部汇总数据。
4.2.3 企业内部系统数据
- TMS（运输管理系统）：记录每一票订舱、报关、运输的完整生命周期数据，是历史运量数据的最细粒度来源。
- CRM/合同管理系统：存储客户长期协议量、合同期限、履约率等数据，用于识别“合同量”与“实际出货量”之间的偏差。
- 财务系统：提供运价、附加费、燃油成本等财务数据，用于构建价格弹性模型。
- 运营报表：船期表、船舶动态、堆场利用率等运营数据，反映实际运力执行情况。
4.3 数据采集与预处理流程
数据采集不是简单的“下载-导入”，而是一个需要规范化管理的工程流程。以下为推荐的标准操作流程：
- 需求定义：明确预测目标（短期/中期/长期）、预测粒度（周/月/季）、预测范围（航线/港口/货种），据此确定所需数据的最小集。
- 源系统梳理：盘点内部系统（TMS、CRM、财务）和外部渠道（海关、统计局、行业平台），建立数据源清单，标注字段、更新频率、获取方式（API/文件/手工导出）。
- 数据接入：优先通过API自动对接，其次为定时文件传输，最后才是人工导出。建立数据质量监控规则，如空值率、异常值、延迟时间等。
- 清洗与标准化：统一时间格式（如统一为UTC+8）、统一计量单位（TEU/自然箱）、统一港口代码（UN/LOCODE）、统一货种分类（HS编码前2位或4位）。
- 缺失值处理：对于时间序列数据，短期缺失可用线性插值或前向填充；长期缺失需评估是否影响模型训练，必要时采用多重插补法。
- 特征工程：将原始数据转换为模型可用的特征变量，如滞后变量（前4周运量）、滚动统计量（13周移动平均）、同比/环比变化率、节假日哑变量等。
- 数据版本管理：每次数据更新后保留快照，确保模型训练和预测的可复现性。
4.4 案例拆解：某国际货运代理公司的数据基础建设
背景与约束：某中型国际货运代理公司，主营中国-欧洲航线，年处理集装箱量约15万TEU。公司希望建立基于机器学习的月度需求预测模型，以优化舱位预订和运力采购决策。初始约束包括：IT团队仅2人、预算有限、历史数据分散在Excel和旧版TMS中。
初始现象与目标：公司过去依赖销售经验预估下月货量，平均误差达±25%，导致旺季舱位不足、淡季运力浪费。目标是将预测误差控制在±12%以内。
关键输入数据与参数：
- 内部数据：2018-2023年共72个月的订舱记录（含货量、起运港、目的港、货种、客户类型），TMS系统导出，部分月份存在缺失。
- 外部数据：中国海关总署中欧贸易月度数据、欧元区PMI、SCFI运价指数、人民币兑欧元汇率。
分析判断过程：团队首先对历史数据做质量审计，发现2019年有3个月数据因系统迁移而缺失，2020年2月受疫情影响数据异常偏低。随后进行相关性分析，发现欧元区PMI（滞后1个月）与公司货量相关系数达0.72，SCFI运价指数（滞后2周）与短期订舱量相关系数0.58。
实际操作步骤：
- 从TMS导出全部历史订舱记录，清洗后得到有效记录约8.2万条，聚合为月度货量序列。
- 通过海关总署官网和Wind金融终端获取外部数据，统一按月度对齐。
- 对缺失月份采用“前向填充+季节性调整”方式补全，对2020年2月数据标记为异常值并在训练时降权。
- 构建特征集：历史货量滞后1/3/6/12个月、PMI滞后1个月、汇率变化率、季节性哑变量（月份）、春节效应变量。
- 使用随机森林回归模型训练，采用时间序列交叉验证（前推法）评估模型。
结果对比：模型上线后6个月的平均预测误差为±9.8%，优于原目标的±12%。其中，旺季（8-10月）预测误差从±30%降至±14%，淡季（1-2月）误差从±20%降至±8%。
风险与代价：项目耗时约3个月，其中数据清洗和特征工程占70%时间。外部数据API采购费用约每年5万元。初期模型对突发性事件（如红海危机）响应不足，需人工干预修正。
复盘经验：数据基础建设是预测项目的“隐形工作量”，建议提前规划数据字典和清洗规则；外部宏观数据对中期预测提升显著，但对短期预测帮助有限；建立“数据质量日报”机制，确保问题早发现、早修复。