4. 探索性数据分析（EDA）

探索性数据分析是建模前最关键的数据准备环节。通过 EDA，我们能够快速掌握数据全貌、识别数据质量问题、发现变量间的潜在关系，为后续的特征工程与模型选型提供决策依据。本章将系统讲解 EDA 的五个核心步骤：数据概览、缺失值分布、异常值检测、单变量与双变量分析、相关性热力图。

4.1 数据概览

数据概览的目的是快速了解数据集的基本结构、字段类型、统计量以及数据质量。通常使用 pandas 库的 .info() 和 .describe() 方法完成。

import pandas as pd

# 加载数据
df = pd.read_csv('credit_data.csv')

# 数据概览
print(df.info())
print(df.describe())

# 目标变量分布
print(df['target'].value_counts(normalize=True))

4.2 缺失值分布

缺失值处理是风控建模中的常见挑战。缺失可能来源于数据采集失败、用户未填写、系统截断等。我们需要统计每个特征的缺失比例，并判断缺失机制（MCAR、MAR、MNAR）。

# 缺失值统计
missing_ratio = df.isnull().mean().sort_values(ascending=False)
print(missing_ratio[missing_ratio > 0])

4.3 异常值检测

异常值会严重影响模型稳定性，尤其在逻辑回归等线性模型中。常用的检测方法包括：Z-Score、IQR（四分位距）、孤立森林等。

# IQR 方法检测异常值
Q1 = df['income'].quantile(0.25)
Q3 = df['income'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = df[(df['income'] < lower_bound) | (df['income'] > upper_bound)]
print(f"异常值数量: {len(outliers)}")

4.4 单变量与双变量分析

4.4.1 单变量分析

单变量分析关注每个特征自身的分布形态。对于数值型变量，观察均值、中位数、标准差、偏度、峰度；对于类别型变量，观察频数、占比、类别数量。

# 数值型变量分布
df['age'].hist(bins=30)

# 类别型变量频数
print(df['education'].value_counts())

4.4.2 双变量分析

双变量分析用于探索特征与目标变量之间的关系。常用方法包括：分组统计、箱线图、小提琴图、交叉表等。

# 双变量分析示例：收入与违约率
df.groupby('income_bin')['target'].mean().plot(kind='bar')

# 交叉表
pd.crosstab(df['education'], df['target'], normalize='index')

4.5 相关性热力图

相关性热力图用于可视化数值型变量之间的线性相关程度。在风控建模中，高相关性特征会导致多重共线性，影响模型稳定性。通常使用 Pearson 相关系数，并设定阈值（如 |r| > 0.7）作为强相关标记。

import seaborn as sns
import matplotlib.pyplot as plt

# 计算相关系数矩阵
corr_matrix = df.corr()

# 绘制热力图
plt.figure(figsize=(12, 10))
sns.heatmap(corr_matrix, annot=True, fmt='.2f', cmap='coolwarm', 
            vmin=-1, vmax=1, center=0)
plt.title('特征相关性热力图')
plt.show()

4.6 EDA 输出与建模决策

完成 EDA 后，应形成一份清晰的 数据质量报告，包含以下内容：

1. 数据概览表：样本量、特征数、目标分布、缺失率最高的 Top 5 特征。
2. 异常值清单：每个特征的异常值比例、异常值分布区间。
3. 强相关特征对：列出 |r| > 0.7 的特征对，并给出保留建议。
4. 初步特征筛选：基于缺失率、IV 值、相关性，给出删除或保留的初步意见。