4. 双变量交叉分析：相关性矩阵、卡方检验与信息价值(IV)计算
在单变量筛选之后，我们需要考察特征与目标变量之间的关联强度，以及特征之间的共线性关系。双变量交叉分析是连接“单变量初筛”与“多变量建模”的关键桥梁，主要解决三个问题：特征与目标是否相关？相关方向与强度如何？特征对目标的区分能力有多强？
本章围绕三种核心方法展开：相关性矩阵（数值型特征）、卡方检验（类别型特征）以及信息价值(IV)（二分类目标下的特征筛选标准）。
4.1 相关性矩阵：数值特征的线性关联度量
对于连续型特征，最常用的双变量关联度量是 Pearson 相关系数。其值域为 [-1, 1]，绝对值越接近 1 表示线性关系越强，接近 0 表示无线性关系。
| 相关系数范围 | 关联强度 | 业务含义 |
|---|---|---|
| 0.8 ~ 1.0 | 极强 | 高度共线性，需剔除或降维 |
| 0.5 ~ 0.8 | 中等 | 可能存在信息重叠，需关注 |
| 0.3 ~ 0.5 | 较弱 | 可保留，但需结合业务判断 |
| 0 ~ 0.3 | 极弱或无 | 基本独立，可放心使用 |
⚠️ 避坑提示： Pearson 相关系数仅捕捉线性关系。若特征与目标呈 U 型或非线性关系，相关系数可能接近 0，但实际预测能力很强。此时应结合 IV 或模型特征重要性综合判断。
相关性矩阵通常以热力图形式呈现，便于快速识别高相关特征对。以下是一个典型的相关性矩阵结构示意图：
💡 实战建议： 当发现两个特征相关系数 > 0.8 时，建议保留与目标变量 IV 值更高的那个，或使用 PCA 进行降维融合。
4.2 卡方检验：类别特征的独立性检验
当特征为离散型（如性别、地区、产品类别）时，相关性矩阵不再适用。此时使用 卡方检验（Chi-Square Test） 判断特征与目标是否独立。
卡方统计量计算公式：
χ² = Σ (Oᵢⱼ - Eᵢⱼ)² / Eᵢⱼ
其中：
- Oᵢⱼ：第 i 行第 j 列的观测频数
- Eᵢⱼ：第 i 行第 j 列的期望频数 = (行合计 × 列合计) / 总样本数卡方检验的输出包括 卡方值 和 p 值。p 值 < 0.05 表示特征与目标显著相关，可保留；p 值 ≥ 0.05 表示无显著关联，建议剔除。
| p 值范围 | 统计结论 | 特征处理建议 |
|---|---|---|
| p < 0.001 | 极显著相关 | 强保留，优先进入模型 |
| 0.001 ≤ p < 0.05 | 显著相关 | 保留，结合 IV 值判断 |
| 0.05 ≤ p < 0.1 | 边缘显著 | 谨慎保留，需业务确认 |
| p ≥ 0.1 | 不显著 | 建议剔除 |
⚠️ 注意事项： 卡方检验对样本量敏感。当样本量很大时（如 > 10 万），即使微小差异也会导致 p 值 < 0.05，此时应结合 Cramér's V 系数（效应量）判断实际关联强度。
4.3 信息价值(IV)：特征区分能力的黄金标准
信息价值（Information Value, IV） 是风控建模中最常用的特征筛选指标，专门用于衡量特征对二分类目标（好/坏样本）的区分能力。其计算基于 证据权重（Weight of Evidence, WoE） 变换。
WoE 计算公式：
WoEᵢ = ln( 坏样本占比ᵢ / 好样本占比ᵢ )
其中：
- 坏样本占比ᵢ = 第 i 分箱中坏样本数 / 总坏样本数
- 好样本占比ᵢ = 第 i 分箱中好样本数 / 总好样本数IV 计算公式：
IV = Σ (坏样本占比ᵢ - 好样本占比ᵢ) × WoEᵢIV 值越大，表示特征区分好坏样本的能力越强。业界通用判断标准如下：
| IV 值范围 | 预测能力 | 特征处理建议 |
|---|---|---|
| IV < 0.02 | 无预测能力 | 剔除 |
| 0.02 ≤ IV < 0.1 | 弱预测能力 | 可保留，但优先级低 |
| 0.1 ≤ IV < 0.3 | 中等预测能力 | 推荐保留 |
| 0.3 ≤ IV < 0.5 | 强预测能力 | 优先保留 |
| IV ≥ 0.5 | 极强预测能力 | 保留，但需警惕过拟合 |
⚠️ 避坑提示： IV 值过高（> 0.5）的特征往往存在过拟合风险，尤其是在小样本场景下。建议对 IV > 0.5 的特征进行交叉验证，确认其稳定性。另外，IV 计算前必须对连续特征进行分箱（通常 5~10 箱），分箱方式直接影响 IV 结果。
4.4 三种方法的对比与选择策略
| 方法 | 适用特征类型 | 核心输出 | 主要用途 | 局限性 |
|---|---|---|---|---|
| 相关性矩阵 | 连续型 | 相关系数 r | 检测共线性、线性关联 | 仅捕捉线性关系 |
| 卡方检验 | 离散型 | χ² 值、p 值 | 独立性检验、特征筛选 | 大样本下 p 值失真 |
| 信息价值(IV) | 连续型（需分箱）/离散型 | IV 值 | 区分能力评估、特征排序 | 依赖分箱质量、对极端值敏感 |
推荐筛选流程：
- 连续特征： 先计算相关性矩阵，剔除高共线性特征（|r| > 0.8）；再计算 IV 值，按 IV ≥ 0.02 保留。
- 离散特征： 先做卡方检验，剔除 p ≥ 0.05 的特征；再对剩余特征计算 IV 值，按 IV ≥ 0.02 保留。
- 最终特征集： 取两种类型特征的并集，确保 IV 值均 ≥ 0.02，且特征间相关系数 < 0.8。
💡 实战案例： 某信贷风控项目初始有 200 个特征，经过相关性矩阵剔除 30 个高共线性特征，卡方检验剔除 20 个不显著类别特征，IV 筛选保留 IV ≥ 0.02 的 80 个特征，最终进入模型的特征为 80 个，模型 AUC 从 0.72 提升至 0.81。
通过双变量交叉分析，我们能够系统性地筛选出与目标变量强相关、且彼此独立的优质特征，为后续的多变量建模和模型调优奠定坚实基础。