4. 数据质量探查与清洗：缺失值、异常值、重复值、时间戳对齐、数据一致性校验

数据质量是模型性能的基石。在商户风险评分场景中，原始数据通常来自多个异构源（如交易流水、工商注册、黑名单库、第三方征信），脏数据会直接导致模型偏差、过拟合或线上推理失效。本章围绕五个核心维度展开系统性探查与清洗。

4.1 缺失值探查与处理

缺失值在商户数据中极为常见，例如“注册资本”字段在个体户中可能为空，“法人身份证号”在部分历史商户中缺失。处理策略需区分缺失机制与业务含义。

4.2 异常值检测与修正

异常值可能源于数据采集错误、商户欺诈行为或极端经营波动。常用检测方法包括统计阈值、箱线图、孤立森林等。

• 统计阈值法：适用于正态分布特征，如“月交易金额”超出 μ±3σ 视为异常。
• 箱线图法：适用于偏态分布，IQR 下界 Q1-1.5×IQR，上界 Q3+1.5×IQR。
• 孤立森林：适用于高维特征空间，可批量检测异常样本。
• 业务规则法：如“成立日期”早于 1900 年或晚于当前日期，直接标记为异常。

4.3 重复值识别与去重

重复数据会导致模型对同一商户过度学习，降低泛化能力。重复类型包括完全重复与关键字段重复。

# 示例：基于商户ID去重，保留最新记录
import pandas as pd

df = df.sort_values('update_time', ascending=False)
df = df.drop_duplicates(subset=['merchant_id'], keep='first')

4.4 时间戳对齐

多源数据的时间戳格式、时区、粒度不一致，是模型上线后特征穿越（look-ahead bias）的主要来源。

• 格式统一：将所有时间戳转为 UTC 标准格式（如 yyyy-MM-dd HH:mm:ss）。
• 时区对齐：明确业务时区（如 Asia/Shanghai），统一转换。
• 粒度对齐：交易流水精确到秒，工商数据精确到日，需按日聚合对齐。
• 时间窗口校验：确保特征计算时只使用历史数据，禁止使用未来信息。

4.5 数据一致性校验

一致性校验确保跨表、跨系统的同一业务含义字段值逻辑自洽。

# 示例：跨表一致性校验
# 检查交易表中的 merchant_id 是否都在商户主表中
orphan_txns = transactions[~transactions['merchant_id'].isin(merchants['merchant_id'])]
print(f"孤儿交易记录数: {len(orphan_txns)}")

4.6 数据质量探查与清洗流程总览

以下 SVG 图展示了从原始数据到可用特征集的完整探查与清洗流水线，包含五个核心步骤及其输出产物。

4.7 数据质量报告与监控

每次探查与清洗后，应生成标准化的数据质量报告，作为模型迭代的基线参考。