2. 数学基础
在机器学习因子压缩与特征表示任务中，数学基础并不是“背景知识”，而是直接决定模型能否压缩、压缩后是否可解释、优化是否稳定的核心工具。线性代数负责描述因子的空间结构与低维表示，概率统计负责刻画因子的分布、相关性与不确定性，优化理论负责求解压缩目标并控制过拟合。三者共同构成从原始因子到有效特征表示的完整链路。
一、核心原理：三块数学如何分工
线性代数的核心作用是把高维因子矩阵 X ∈ R^(n×p) 视为线性空间中的点集或线性变换。因子压缩的本质，是寻找一个低维子空间 Z ∈ R^(n×k)（k ≪ p），使得 X ≈ ZW^T。其中 W ∈ R^(p×k) 是投影或载荷矩阵。PCA、SVD、因子分析、自编码器的线性版本，都建立在这一分解之上。特征值、奇异值、秩、正交性、投影矩阵等概念，决定了压缩后保留了多少信息、是否可逆、是否稳定。
概率统计则回答“因子从哪里来、有多可靠”。因子收益率、暴露、残差通常被建模为随机变量。均值 μ、协方差 Σ、相关系数 ρ、条件分布 p(z|x) 等符号，用于描述因子的联合分布与冗余关系。若两个因子高度相关，说明它们携带的信息重叠，压缩时可以合并或剔除。概率视角还引入最大似然估计、贝叶斯先验与后验，使压缩不只是几何投影，而是有统计意义的推断。
优化理论提供求解框架。常见目标可写为：min_W L(X, ZW^T) + λR(W)，其中 L 是重构损失或似然损失，R 是正则项，λ 控制复杂度。梯度下降、坐标下降、交替最小二乘、近端梯度法、EM 算法等，都是该框架下的具体求解器。优化理论还决定收敛速度、局部最优与稀疏性，例如 L1 正则可产生稀疏载荷，便于因子筛选。
二、方法流程：从符号约定到压缩求解
为避免公式混乱，课程统一采用以下符号约定。原始因子矩阵记为 X，样本数为 n，因子数为 p；压缩后的隐表示记为 Z，维度为 k；载荷或投影矩阵记为 W；重构误差记为 E。概率部分，均值向量 μ，协方差矩阵 Σ，相关系数 ρ，似然函数 L(θ)。优化部分，目标函数 J(θ)，学习率 η，正则系数 λ。
典型流程如下：
- 标准化因子矩阵，使不同量纲的因子可比较；
- 计算协方差矩阵
Σ或相关矩阵，识别冗余结构； - 用 SVD 或特征分解得到主方向，确定保留维度
k； - 构造目标函数
J(W,Z)=||X−ZW^T||_F^2+λ||W||_1； - 用交替最小二乘或梯度法迭代求解
W与Z； - 检查重构误差、载荷稀疏度与验证集表现，决定是否调整
k与λ。
# 符号约定示例：因子压缩目标
X: n×p 原始因子矩阵
Z: n×k 低维表示
W: p×k 载荷矩阵
Σ: p×p 协方差矩阵
J = ||X - Z W.T||_F^2 + λ * ||W||_1
# 求解：交替更新 Z 与 W，直至收敛
三、案例/场景：因子相关性过高时的压缩
假设有 20 个量价因子，其中 6 个动量因子高度相关，相关系数普遍高于 0.85。若直接输入模型，会造成多重共线性，导致权重不稳定。此时可先计算协方差矩阵，发现前 3 个特征值解释了 90% 以上方差，于是取 k=3。通过 SVD 得到 3 个正交因子，再用 L1 正则优化载荷，使部分载荷为 0，便于解释。最终模型输入从 20 维降到 3 维，验证集 IC 提升，回撤下降。
| 数学工具 | 核心符号 | 在因子压缩中的作用 | 常见误区 |
|---|---|---|---|
| 线性代数 | X, Z, W, Σ, SVD | 降维、正交化、低秩近似 | 只看方差贡献，忽略可解释性 |
| 概率统计 | μ, Σ, ρ, p(z|x) | 相关性度量、分布假设、不确定性 | 假设正态分布但数据厚尾 |
| 优化理论 | J, λ, η, L1/L2 | 求解载荷、控制稀疏与过拟合 | λ 过大导致欠拟合，过小导致过拟合 |
四、误区/复盘：常见符号与理解偏差
误区一：把 Z 和 W 的角色混淆。 Z 是样本的低维表示，W 是因子到隐空间的映射。若把 W 当作样本表示，后续建模会完全错位。
误区二：忽略标准化。 不同因子量纲差异大时，协方差矩阵会被大量纲因子主导，压缩结果失真。
误区三：只做一次 SVD 就结束。 压缩后还需用优化方法调整载荷，否则难以兼顾重构误差与稀疏解释。
复盘建议： 每次压缩后，检查三件事：重构误差是否可接受、载荷是否稳定、验证集是否提升。若三者冲突，优先保证验证集表现，再回头调整 k 与 λ。符号约定一旦确定，全课程统一使用，避免混用 U/S/V 与 Z/W 造成理解负担。
掌握这三块数学，并不是为了推导复杂公式，而是为了在因子压缩时知道每一步在做什么、为什么这样做、结果是否可信。线性代数给出空间结构，概率统计给出分布依据，优化理论给出求解路径，三者协同，才能把高维因子转化为稳定、可解释、可泛化的特征表示。