4. 数据探索性分析（EDA）：描述性统计、缺失值分布、异常值初步识别

在构建贷后预警模型之前，必须对原始数据进行系统性的探索性分析。本章将围绕描述性统计、缺失值分布和异常值初步识别三个核心任务展开，为后续特征工程与模型训练奠定数据基础。

4.1 描述性统计：快速掌握数据全貌

描述性统计帮助我们理解各字段的集中趋势、离散程度与分布形态。以下为贷后预警数据集关键字段的统计摘要：

4.2 缺失值分布：识别数据空洞

缺失值会直接影响模型训练质量。我们按字段统计缺失率，并分析缺失模式：

4.3 异常值初步识别：箱线图与业务规则

异常值会扭曲模型学习方向，需结合统计方法与业务知识进行初步筛查。以下为关键字段的异常值识别规则：

• 贷款金额：超过均值+3倍标准差（约446,469元）或低于1,000元视为异常。
• 逾期天数：超过365天视为数据录入错误或极端案例，需单独处理。
• 收入负债比：大于1.5视为异常（收入无法覆盖负债），需核实数据源。
• 近6月查询次数：超过30次视为频繁查询，可能为多头借贷信号，但非数据错误，保留为特征。
• 客户年龄：小于18岁或大于80岁视为异常，需剔除或修正。

4.4 EDA 流程总览

以下 SVG 图展示了贷后预警数据 EDA 的完整流程，从原始数据输入到最终输出清洗后的数据集：

4.5 代码实现：EDA 核心步骤

以下代码展示了使用 Python 进行描述性统计、缺失值分析和异常值识别的标准流程：

import pandas as pd
import numpy as np

# 加载数据
df = pd.read_csv('loan_early_warning.csv')

# 1. 描述性统计
desc_stats = df.describe(percentiles=[0.25, 0.5, 0.75])
print("描述性统计结果：")
print(desc_stats)

# 2. 缺失值分布
missing_counts = df.isnull().sum()
missing_rates = (df.isnull().sum() / len(df)) * 100
missing_df = pd.DataFrame({
    '缺失数量': missing_counts,
    '缺失率(%)': missing_rates.round(2)
})
missing_df = missing_df[missing_df['缺失数量'] > 0].sort_values('缺失率(%)', ascending=False)
print("\n缺失值分布：")
print(missing_df)

# 3. 异常值初步识别（基于IQR方法）
def detect_outliers_iqr(series):
    Q1 = series.quantile(0.25)
    Q3 = series.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = series[(series < lower_bound) | (series > upper_bound)]
    return len(outliers), lower_bound, upper_bound

numeric_cols = ['贷款金额', '逾期天数', '客户年龄', '近6月查询次数', '收入负债比']
print("\n异常值初步识别（IQR方法）：")
for col in numeric_cols:
    count, lb, ub = detect_outliers_iqr(df[col])
    print(f"{col}: 异常值数量={count}, 下界={lb:.2f}, 上界={ub:.2f}")