4. MRM 数学原理：最大相关性准则、最小冗余性准则、MRM 目标函数推导

MRM（Max-Relevance and Min-Redundancy）特征选择框架的核心思想是：所选特征子集既要与目标变量高度相关（最大相关性），又要彼此之间尽可能独立（最小冗余性）。本章从信息论角度严格定义这两个准则，并推导出统一的 MRM 目标函数。

4.1 最大相关性准则（Max-Relevance）

最大相关性准则要求每个选中的特征 \( x_i \) 与目标变量 \( y \) 的依赖程度尽可能高。在信息论中，通常使用互信息（Mutual Information, MI）来度量两个随机变量之间的相关性。

对于离散变量，互信息定义为：

I(x; y) = Σ_{x∈X} Σ_{y∈Y} p(x, y) · log( p(x, y) / (p(x) · p(y)) )

其中 \( p(x, y) \) 是联合概率分布，\( p(x) \) 和 \( p(y) \) 是边缘概率分布。互信息值越大，表示特征与目标的相关性越强。

给定一个已选特征集合 \( S \)，最大相关性准则的目标是最大化所有特征与目标互信息的平均值：

max D(S, y),  其中 D(S, y) = (1/|S|) · Σ_{x_i ∈ S} I(x_i; y)

4.2 最小冗余性准则（Min-Redundancy）

仅最大化相关性容易导致所选特征之间高度相似（例如，两个特征都与目标强相关，但彼此也强相关），这会引入冗余信息，降低模型的泛化能力。最小冗余性准则要求所选特征之间的互信息尽可能小。

给定已选特征集合 \( S \)，最小冗余性准则的目标是最小化特征两两之间互信息的平均值：

min R(S),  其中 R(S) = (1/|S|²) · Σ_{x_i, x_j ∈ S} I(x_i; x_j)

当 \( i = j \) 时，\( I(x_i; x_i) = H(x_i) \)（熵），通常在实际计算中只考虑 \( i \neq j \) 的情况，或直接使用上三角/下三角求和。

4.3 MRM 目标函数推导

MRM 将最大相关性和最小冗余性两个准则结合为一个统一的优化目标。最经典的结合方式是加法形式：

max Φ(D, R) = D(S, y) - β · R(S)

其中 \( \beta \) 是冗余惩罚系数，用于平衡相关性与冗余性之间的权重：

• β = 0：仅考虑最大相关性，退化为单变量特征选择（如互信息排序）。
• β → ∞：过度惩罚冗余，可能导致所选特征与目标相关性不足。
• β = 1：经典 MRM 默认值，相关性与冗余性同等重要。

将 D 和 R 的表达式代入，得到 MRM 的完整目标函数：

max Φ = (1/|S|) · Σ_{x_i ∈ S} I(x_i; y) - β · (1/|S|²) · Σ_{x_i, x_j ∈ S} I(x_i; x_j)

在实际增量搜索（如 MRMR 算法）中，每次从候选特征集 \( X \setminus S \) 中选择一个特征 \( x_k \) 加入 \( S \)，使得增量目标函数最大：

max_{x_k ∈ X \ S} [ I(x_k; y) - β · (1/|S|) · Σ_{x_i ∈ S} I(x_k; x_i) ]

这个增量形式避免了每次重新计算整个集合的互信息，大幅降低了计算复杂度。

4.4 MRM 优化流程示意图

下图展示了 MRM 特征选择的完整优化流程，从原始特征空间到最终选出的最优子集：

4.5 不同 β 值对特征选择的影响

为了直观理解冗余惩罚系数 β 的作用，下表对比了不同 β 值下的选择行为：

4.6 MRM 与单变量特征选择的对比

下图直观对比了单变量特征选择（仅最大相关性）与 MRM（最大相关性 + 最小冗余性）在选择结果上的差异：

4.7 数学性质总结

• 凸性分析： MRM 目标函数在特征空间上通常是非凸的，因此采用贪心增量搜索（如前向选择）来逼近全局最优。
• 计算复杂度： 增量 MRM 每次迭代需要计算候选特征与已选特征之间的互信息，复杂度为 O(|S| · |X| · n)，其中 n 为样本数。
• 理论保证： 当特征满足条件独立性假设时，MRM 选择的子集在贝叶斯误差率上具有最优性保证。