3. 数据探索：加载信贷数据集、查看数据分布、处理缺失值与异常值

数据探索是评分卡建模的基石。在构建 LightGBM 评分卡之前，必须对原始信贷数据进行全面探查，理解字段含义、统计分布、缺失情况与异常特征。本节将带领你完成从数据加载到清洗的全流程，确保后续建模输入质量可靠。

3.1 加载信贷数据集

我们使用公开的信贷违约数据集（如 Home Credit Default Risk 或 Give Me Some Credit），通过 Pandas 加载并初步观察结构。

import pandas as pd
import numpy as np

# 加载训练集与测试集
train = pd.read_csv('credit_train.csv')
test = pd.read_csv('credit_test.csv')

print(f"训练集形状: {train.shape}")
print(f"测试集形状: {test.shape}")
print("\n训练集前5行:")
print(train.head())

加载后，首先检查字段名称、数据类型与内存占用，为后续探索做准备。

3.2 查看数据分布

对连续型变量使用描述性统计与直方图，对分类型变量使用频次统计，快速掌握数据整体形态。

# 连续变量统计
print(train[['age', 'income', 'loan_amount']].describe())

# 目标变量分布
print(train['default'].value_counts(normalize=True))

分布检查的核心指标包括：均值、标准差、最小值、最大值、四分位数。重点关注变量是否服从业务常识（如年龄不应为负，收入不应为 0）。

3.3 处理缺失值

缺失值是信贷数据中的常见问题。首先统计各字段缺失比例，然后根据业务含义与缺失机制选择处理策略。

# 缺失值统计
missing_ratio = train.isnull().mean().sort_values(ascending=False)
print(missing_ratio[missing_ratio > 0])

# 中位数填充连续变量
train['age'].fillna(train['age'].median(), inplace=True)
train['income'].fillna(train['income'].median(), inplace=True)

# 众数填充分类变量
train['house_ownership'].fillna(train['house_ownership'].mode()[0], inplace=True)

3.4 处理异常值

异常值会严重影响评分卡的稳定性与区分能力。通过箱线图与业务规则识别异常，并采取截尾或转换处理。

# 箱线图法：定义异常值边界
def cap_outliers(series, lower_quantile=0.01, upper_quantile=0.99):
    lower = series.quantile(lower_quantile)
    upper = series.quantile(upper_quantile)
    return series.clip(lower, upper)

train['income'] = cap_outliers(train['income'])
train['loan_amount'] = cap_outliers(train['loan_amount'])

# 业务规则：年龄应在 18~100 之间
train = train[(train['age'] >= 18) & (train['age'] <= 100)]

3.5 数据探索总结

完成缺失值与异常值处理后，需再次检查数据质量，确保无遗漏问题。

清洗后的数据集可直接用于特征工程与 LightGBM 建模。下一阶段将进行特征分箱与 WOE 编码，为评分卡转换做准备。