2. 数学基础回顾：线性代数与概率论

在层级预测与调和权重学习中，数据以向量和矩阵的形式流动，不确定性由概率分布刻画。本节系统回顾后续章节频繁使用的核心数学工具，包括向量与矩阵运算、范数度量，以及期望、方差与贝叶斯推断的基本法则。

2.1 线性代数基础

2.1.1 向量与矩阵

向量是数据的基本单元。一个 n 维列向量 v = [v₁, v₂, …, vₙ]ᵀ 可表示单条样本的特征或一组预测值。矩阵是向量的有序集合，用于存储批量数据或线性变换系数。

矩阵乘法是层级预测的核心操作。设 A ∈ ℝ^m×p，B ∈ ℝ^p×n，则乘积 C = AB 的元素 c_ij = Σ_k=1^p a_ik b_kj。该运算将输入特征空间映射到预测输出空间，也是调和权重组合的基本形式。

2.1.2 范数

范数是向量或矩阵大小的度量，在损失函数、正则化与误差评估中不可或缺。

• L₁ 范数（曼哈顿范数）： ‖v‖₁ = Σᵢ |vᵢ|。对异常值鲁棒，常用于稀疏正则化（Lasso）。
• L₂ 范数（欧几里得范数）： ‖v‖₂ = √(Σᵢ vᵢ²)。最常用的距离度量，对应最小二乘损失。
• L∞ 范数（切比雪夫范数）： ‖v‖∞ = maxᵢ |vᵢ|。衡量最大偏差。
• Frobenius 范数（矩阵范数）： ‖A‖_F = √(Σᵢⱼ a_ij²)。矩阵元素的整体大小。

2.2 概率论基础

2.2.1 期望与方差

期望（Expectation）描述随机变量的平均取值。对于离散随机变量 X，E[X] = Σᵢ xᵢ P(xᵢ)；对于连续变量，E[X] = ∫ x f(x) dx。期望是线性算子：E[aX + bY] = aE[X] + bE[Y]。

方差（Variance）衡量随机变量围绕期望的离散程度：Var(X) = E[(X − E[X])²] = E[X²] − (E[X])²。标准差 σ = √Var(X) 与原始数据同量纲。

2.2.2 贝叶斯公式

贝叶斯公式提供了在观测数据后更新先验信念的数学框架：

P(θ | D) = ^{P(D | θ) · P(θ)} ⁄ _P(D)

其中：

• P(θ) — 先验分布：在观测数据前对参数 θ 的信念。
• P(D | θ) — 似然函数：给定参数下数据出现的概率。
• P(θ | D) — 后验分布：结合数据后的更新信念。
• P(D) — 证据（边际似然）：归一化常数。

在层级预测中，贝叶斯思想用于：

1. 先验正则化：对权重施加先验分布（如高斯先验等价于 L₂ 正则化）。
2. 后验调和：将多个层级的预测视为不同数据源，通过贝叶斯模型平均（BMA）计算调和权重。
3. 不确定性量化：后验方差反映权重估计的置信度，指导稀疏截断阈值。

2.3 数学工具在层级预测中的协同

线性代数提供数据表示与变换的代数结构，概率论提供不确定性建模与更新的逻辑框架。二者在层级预测中通过以下方式协同：

• 协方差矩阵（线性代数）编码层级间预测误差的相关结构，其逆矩阵出现在加权最小二乘调和权重中。
• 贝叶斯线性回归将先验协方差与数据似然结合，后验均值等价于带正则化的最小二乘解。
• 范数约束（L₁/L₂）可解释为特定先验分布（拉普拉斯/高斯）的最大后验（MAP）估计。