3. 数据采集与预处理：数据源分类、清洗与异常检测

在坏样本归因与Collections Analytics中，数据质量直接决定模型效果与策略有效性。本章聚焦数据采集与预处理的核心环节，涵盖数据源分类、数据清洗、缺失值处理与异常值检测，为后续特征工程与建模奠定基础。

3.1 数据源分类

风控与催收分析的数据源主要分为内部交易数据与外部征信数据两大类。两类数据在时效性、覆盖度、成本与合规要求上存在显著差异。

3.2 数据清洗

数据清洗是预处理的核心步骤，主要解决格式不一致、重复记录、逻辑错误与噪声数据问题。常见清洗操作包括：

• 格式标准化：统一日期格式（YYYY-MM-DD）、金额单位（元/分）、手机号/身份证脱敏规则。
• 去重处理：基于主键（如客户ID+交易流水号）删除完全重复或业务含义重复的记录。
• 逻辑校验：检查逾期天数与还款日期是否矛盾、交易金额是否超出合理范围。
• 噪声过滤：剔除明显异常的时间戳（如未来日期）、无效的渠道编码等。

3.3 缺失值处理

缺失值在风控数据中普遍存在，处理方式需结合缺失机制与业务含义。常用方法如下：

3.4 异常值检测

异常值检测用于识别数据中偏离正常分布的点，这些点可能代表欺诈、录入错误或极端风险事件。常用检测方法包括：

• 统计方法：Z-Score（阈值通常设为3）、IQR（四分位距，下界Q1-1.5×IQR，上界Q3+1.5×IQR）。
• 距离方法：基于KNN或LOF（局部异常因子），适用于高维数据。
• 业务规则：如单日交易次数超过100笔、逾期天数超过365天等。

3.5 实战代码示例：缺失值与异常值处理

以下代码展示使用Python进行缺失值填充与异常值检测的典型流程：

import pandas as pd
import numpy as np
from scipy import stats

# 加载数据
df = pd.read_csv('collections_data.csv')

# 缺失值处理：连续变量用中位数填充，离散变量用众数填充
df['逾期天数'].fillna(df['逾期天数'].median(), inplace=True)
df['渠道类型'].fillna(df['渠道类型'].mode()[0], inplace=True)

# 异常值检测：Z-Score方法
z_scores = np.abs(stats.zscore(df['交易金额']))
df['交易金额异常标记'] = (z_scores > 3).astype(int)

# 业务规则检测：逾期天数超过365天标记为极端异常
df['逾期极端标记'] = (df['逾期天数'] > 365).astype(int)

# 输出异常样本统计
print(f"交易金额异常样本数: {df['交易金额异常标记'].sum()}")
print(f"逾期极端样本数: {df['逾期极端标记'].sum()}")