2. 特征工程基础：定义、重要性及 MRM 中的特殊挑战

特征工程是将原始数据转化为能最大化机器学习模型性能的特征表示的过程。在多元回归模型（MRM）中，特征工程不仅是数据预处理，更是决定模型解释力与稳定性的核心环节。

2.1 特征工程的定义与核心任务

特征工程（Feature Engineering）指利用领域知识和数学变换，从原始数据中构造、选择、转换特征，使其更适合于机器学习算法的过程。其核心任务包括：

2.2 特征工程在 MRM 中的重要性

多元回归模型对特征质量高度敏感，特征工程在以下三个维度发挥关键作用：

• 提升模型拟合度： 通过构造交互项与多项式特征，捕捉变量间的协同效应，提高 R² 与调整 R²。
• 满足统计假设： 对数变换缓解异方差性，标准化处理消除量纲影响，使回归系数可比。
• 增强模型稳定性： 特征选择剔除高相关变量，降低多重共线性导致的系数估计方差膨胀。

2.3 MRM 中的特殊挑战

与单一回归模型不同，MRM 在特征工程阶段面临两个独特的系统性挑战：维度爆炸与响应间相关性。

2.3.1 维度爆炸

当模型包含多个响应变量（Y₁, Y₂, …, Yₘ）时，特征空间会以乘法级数扩张。例如，对 p 个原始特征构造二阶交互项，单响应模型产生 O(p²) 个特征，而 m 个响应则可能产生 O(m·p²) 个特征，导致样本量相对不足、计算开销剧增。

2.3.2 响应间相关性

MRM 的多个响应变量之间往往存在内在关联（如不同时间点的销售额、多个健康指标）。这种相关性会通过共享特征传递到模型中，造成：

• 系数估计偏移： 一个响应的特征选择决策会通过残差相关性影响其他响应的系数。
• 冗余特征放大： 对 Y₁ 有效的特征可能因与 Y₂ 的间接关联而被错误保留，增加模型复杂度。
• 解释性下降： 特征对多个响应的贡献方向可能相反，导致业务解读困难。

2.4 维度爆炸与响应相关性的协同效应

当维度爆炸与响应间相关性同时存在时，会产生协同恶化效应：高维特征空间放大了响应间相关性的影响，使得特征选择的不稳定性成倍增加。例如，一个本应被剔除的噪声特征，可能因为与某个响应变量偶然相关，并通过响应间相关性“污染”其他响应的模型。