2. 信息论基础：熵、联合熵、条件熵、互信息的概念与计算公式

信息论为特征选择提供了坚实的数学基础。在 MRM（最大相关最小冗余）框架中，核心度量指标均源自信息论。理解熵、联合熵、条件熵和互信息的概念与计算公式，是掌握 MRM 特征选择方法的前提。

2.1 熵（Entropy）——不确定性的度量

熵是信息论中最基本的概念，用于衡量一个随机变量的不确定性或信息量。熵越大，表示变量的不确定性越高，包含的信息量越大。

定义： 对于一个离散随机变量 \(X\)，其概率分布为 \(P(X)\)，熵 \(H(X)\) 定义为：

H(X) = - Σ P(x) * log₂ P(x)   (对所有 x ∈ X 求和)

其中，对数底数通常取 2，此时熵的单位为比特（bit）。

2.2 联合熵（Joint Entropy）——联合系统的不确定性

联合熵衡量两个或多个随机变量共同构成系统的整体不确定性。

定义： 对于两个离散随机变量 \(X\) 和 \(Y\)，其联合概率分布为 \(P(X, Y)\)，联合熵 \(H(X, Y)\) 定义为：

H(X, Y) = - Σ Σ P(x, y) * log₂ P(x, y)   (对所有 x ∈ X, y ∈ Y 求和)

联合熵满足 次可加性：\(H(X, Y) \le H(X) + H(Y)\)，当且仅当 \(X\) 与 \(Y\) 相互独立时取等号。

2.3 条件熵（Conditional Entropy）——已知条件下的不确定性

条件熵表示在已知一个随机变量 \(Y\) 的条件下，另一个随机变量 \(X\) 剩余的不确定性。

定义： 给定 \(Y\) 时 \(X\) 的条件熵 \(H(X|Y)\) 定义为：

H(X|Y) = - Σ Σ P(x, y) * log₂ P(x|y)   (对所有 x ∈ X, y ∈ Y 求和)

条件熵与联合熵、熵之间存在重要的 链式法则：

H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)

2.4 互信息（Mutual Information）——变量间的依赖度量

互信息是信息论中衡量两个随机变量之间相互依赖程度的核心指标。它表示知道一个变量后，另一个变量不确定性减少的量。

定义： 两个离散随机变量 \(X\) 和 \(Y\) 的互信息 \(I(X; Y)\) 定义为：

I(X; Y) = Σ Σ P(x, y) * log₂ [P(x, y) / (P(x) * P(y))]   (对所有 x ∈ X, y ∈ Y 求和)

互信息与熵、条件熵之间存在多种等价关系：

I(X; Y) = H(X) - H(X|Y)
I(X; Y) = H(Y) - H(Y|X)
I(X; Y) = H(X) + H(Y) - H(X, Y)
I(X; Y) = I(Y; X)   (对称性)

2.5 四种度量对比总结

2.6 互信息在 MRM 中的具体应用

在 MRM 特征选择框架中，互信息被用于两个关键计算：

1. 相关性（Relevance）： 计算每个特征 \(f_i\) 与目标变量 \(C\) 的互信息 \(I(f_i; C)\)，值越大表示特征与目标越相关。
2. 冗余性（Redundancy）： 计算特征 \(f_i\) 与已选特征集 \(S\) 中每个特征 \(f_j\) 的互信息 \(I(f_i; f_j)\)，值越大表示特征间冗余越高。

MRM 选择准则： 选择使下式最大化的特征 \(f_i\)：

Score(f_i) = I(f_i; C) - (1/|S|) * Σ I(f_i; f_j)   (对所有 f_j ∈ S 求和)

其中，第一项最大化相关性，第二项最小化冗余性。