4. 变量间关联的度量基础

在多变量实验数据中，“两个变量有没有关系”是一个必须被量化的问题。协方差、相关系数、距离度量和互信息是四类最常用的关联度量工具，但它们回答的并不是同一个问题：协方差刻画同向变动，相关系数刻画线性强度，距离度量刻画样本或变量之间的相似性，互信息刻画任意形式的统计依赖。选错度量，后续的降维、聚类、特征筛选和因果探索都会建立在错误的前提上。本节先厘清四者的定义与适用边界，再用一组可复现的小样本演示计算过程与判读方法。

一、四类度量的定义与适用条件

协方差衡量两个变量围绕各自均值同向偏离的程度。设样本为 $(x_i, y_i)$，$i=1..n$，则样本协方差为 $s_{xy}=\frac{1}{n-1}\sum (x_i-\bar{x})(y_i-\bar{y})$。其符号表示方向：正值表示同增同减，负值表示此增彼减，零附近表示无明显线性同向变动。协方差的量纲是两变量量纲之积，数值大小受单位影响，因此只适合在同一数据集的同一量纲体系内比较，不能跨变量对直接比强弱。

相关系数（Pearson）是协方差的标准化版本：$r=\frac{s_{xy}}{s_x s_y}$，取值 $[-1,1]$，无量纲，可跨变量对比较。它严格度量线性关系强度，前提是两变量近似连续、关系大致线性、极端值不过度主导。若关系是 U 形或周期性，Pearson 相关系数可能接近 0，却并不代表独立。对序数或明显偏态数据，应改用 Spearman 秩相关，它度量单调关系且对异常值更稳健。

距离度量用于刻画样本之间或变量之间的“远近”。常用形式包括欧氏距离、曼哈顿距离、标准化欧氏距离和马氏距离。关键实践点是：量纲差异大的变量必须先标准化，否则距离会被大量纲变量主导；变量间存在强相关时，马氏距离通过协方差矩阵的逆来消除冗余方向，比欧氏距离更合理。距离度量本身不直接给出“关联强度”，但在聚类、近邻分析和变量相似性矩阵中是基础构件。

互信息 $I(X;Y)=\sum_{x,y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}$ 度量知道 $X$ 后 $Y$ 的不确定性减少了多少，能捕捉任意形式的依赖，包括非线性、非单调关系。代价是：连续变量需先分箱或做密度估计，结果对分箱策略敏感；互信息无上界（以比特或奈特计），跨变量对比较时通常归一化为 $[0,1]$ 或使用最大信息系数。样本量小时分箱估计偏差明显，需谨慎解读。

二、计算实践：一组小样本的完整演示

下面用一组教学示例数据（非实测，仅用于演示计算流程）说明四类度量的计算与判读。假设某反应实验记录了温度 $T$（℃）与转化率 $C$（%），共 6 组：

T = [20, 30, 40, 50, 60, 70]
C = [12, 25, 33, 48, 55, 71]

先算均值：$\bar{T}=45$，$\bar{C}=40.67$。离差乘积和为 $\sum (T_i-\bar{T})(C_i-\bar{C}) = 1720$，故协方差 $s_{TC}=1720/5=344$。其单位为 ℃·%，只能说明同向变动，不能直接说“强”。

再算标准差：$s_T \approx 18.71$，$s_C \approx 21.19$，于是 Pearson 相关系数 $r = 344/(18.71\times21.19)\approx 0.868$。这个值接近 1，说明温度与转化率存在较强的正向线性关系，可作为后续线性回归或特征筛选的依据。若把最后一组改为 $C=20$（模拟异常点），$r$ 会明显下降，这正是 Pearson 对异常值敏感的体现，此时应同时报告 Spearman 秩相关做稳健性对照。

距离度量方面，若把 6 个样本视为六维空间中的点（每维是一个变量），欧氏距离会因温度与转化率量纲接近而尚可；但若再加入“压力（kPa）”这类数值在数百量级的变量，不标准化就会让压力主导距离。实践做法是先用 z-score 标准化，再计算欧氏距离；若变量间相关性强，改用马氏距离 $d_M=\sqrt{(x-y)^T S^{-1}(x-y)}$，其中 $S$ 为协方差矩阵。

互信息的计算需要离散化。以中位数把 $T$ 和 $C$ 各分为“低/高”两箱，统计 2×2 列联表，按 $I=\sum p_{ij}\log_2\frac{p_{ij}}{p_i p_j}$ 计算。示例数据大致呈单调同向，互信息会给出正值，说明两变量不独立；但分箱数改变时数值会变，因此报告中应写明分箱策略，并与相关系数交叉验证，而不是单独依赖互信息下结论。

把四类度量放在同一分析框架里，它们各自承担不同角色：协方差提供方向与原始尺度信息，相关系数提供可比较的线性强度，距离度量支撑样本与变量的相似性结构，互信息兜底捕捉非线性依赖。实际项目中，建议至少同时报告一种线性度量与一种稳健/非线性度量，并配合可视化，才能对“变量间是否关联、以何种方式关联”给出可靠回答。