1. 课程导论：层级预测问题、数据稀疏与调和权重学习
1.1 层级预测问题的定义
层级预测（Hierarchical Forecasting）是一类具有天然树状或聚簇结构的时间序列预测任务。在这种结构中，底层（Bottom-level） 序列通过聚合关系形成 上层（Aggregated-level） 序列，且所有层级必须满足 求和一致性（Sum-to-total constraint）。
核心约束： 对于任意时刻 t，顶层预测值必须等于所有底层预测值之和，即 \( \hat{y}_{total,t} = \sum_{i=1}^{n} \hat{y}_{bottom_i,t} \)。
层级预测的典型应用场景包括：
- 零售供应链： 全国总销量 → 大区销量 → 门店销量
- 能源负荷： 国家电网负荷 → 省级负荷 → 城市负荷
- 金融风控： 集团总风险敞口 → 子公司敞口 → 产品线敞口
| 层级 | 聚合粒度 | 序列数量 | 典型预测难度 |
|---|---|---|---|
| 顶层（Level 0） | 全局汇总 | 1 | 低（噪声平均后稳定） |
| 中间层（Level 1~k-1） | 区域/品类 | 10~100 | 中（部分稀疏） |
| 底层（Level k） | SKU/门店 | 1000~100000+ | 高（极度稀疏） |
1.2 数据稀疏性的挑战
在层级预测的底层序列中，数据稀疏性（Data Sparsity） 是普遍存在的核心难题。稀疏性表现为大量时间窗口内序列值为零或缺失，导致传统统计模型（如 ARIMA、ETS）和深度学习模型（如 LSTM、Transformer）难以有效学习。
稀疏性陷阱： 当底层序列的零值占比超过 60% 时，直接使用均方误差（MSE）训练会导致模型倾向于预测零值，从而丧失对正需求的捕捉能力。
数据稀疏性的主要来源：
- 间歇性需求（Intermittent Demand）： 如备件、奢侈品，销售事件随机且低频。
- 冷启动问题（Cold Start）： 新产品或新门店上线初期，历史数据极少。
- 季节性稀疏（Seasonal Sparsity）： 季节性商品在非旺季出现大量零值。
- 层级稀释（Hierarchical Dilution）： 越往底层拆分，每个序列的平均非零样本数越少。
| 稀疏类型 | 典型零值比例 | 对预测的影响 | 常见应对策略 |
|---|---|---|---|
| 间歇性需求 | 70% ~ 95% | 模型偏向零预测，低估需求 | Croston 方法、TSB |
| 冷启动 | 80% ~ 100% | 无法估计初始参数 | 迁移学习、全局共享参数 |
| 季节性稀疏 | 50% ~ 80% | 季节性模式被噪声淹没 | 稀疏感知的季节分解 |
| 层级稀释 | 随层级加深递增 | 底层预测方差极大 | 层级调和、信息借用 |
1.3 调和权重学习的基本思想
调和权重学习（Reconciliation Weight Learning） 是解决层级预测一致性与稀疏性问题的核心方法论。其基本思想是：不直接使用底层预测的简单加总作为顶层预测，而是通过 学习一个调和矩阵（Reconciliation Matrix），将各层级的独立预测进行最优组合，同时满足求和一致性约束。
核心公式： 调和后的预测 \( \tilde{y} = S G \hat{y} \)，其中 \( S \) 是聚合矩阵，\( G \) 是调和权重矩阵，\( \hat{y} \) 是各层级独立预测向量。学习目标是最小化调和后的预测误差。
调和权重学习的关键步骤：
- 步骤 1： 对各层级序列分别进行独立预测（Base Forecasts）。
- 步骤 2： 构建可学习的调和权重矩阵 \( G \)，其维度由层级结构决定。
- 步骤 3： 定义损失函数，同时惩罚预测误差和一致性违反程度。
- 步骤 4： 通过梯度下降或最小二乘优化求解最优权重。
- 步骤 5： 应用调和矩阵生成最终的一致预测。
1.4 课程核心目标
本课程将围绕以下三个核心目标展开：
- 理解层级预测的数学框架： 掌握聚合矩阵、调和矩阵、误差协方差等核心概念。
- 应对数据稀疏挑战： 学习稀疏感知的预测模型、缺失值处理与信息借用技术。
- 实现调和权重学习： 从最小二乘到梯度优化，从静态权重到动态权重，构建端到端可训练的调和系统。
课程产出： 完成本课程后，学员将能够独立设计并实现一套面向稀疏层级数据的调和预测系统，并在真实业务场景中验证其效果。