3. 数据预处理：数据清洗、缺失值处理、异常值检测、数据标准化

数据预处理是可疑交易推理链路中承上启下的关键环节。原始交易数据通常来自核心账务系统、反洗钱名单筛查系统、客户信息管理系统等多个异构数据源，存在格式不统一、字段缺失、数值异常、量纲不一致等问题。未经清洗的数据直接进入模型，会导致误报率飙升、推理链路断裂。本节将系统讲解数据清洗、缺失值处理、异常值检测与数据标准化四大核心步骤。

3.1 数据清洗

数据清洗的目标是消除原始数据中的噪声、重复、格式错误和不一致记录。在反洗钱场景中，常见的数据脏数据包括：

• 重复交易记录：同一笔交易因系统重发或接口超时而产生多条记录。
• 格式不一致：日期格式混用（YYYY-MM-DD vs DD/MM/YYYY）、金额含逗号或货币符号。
• 逻辑矛盾：交易时间早于账户开户时间、交易金额为负数但交易类型为“存款”。
• 无效字符：备注字段包含不可见控制字符或乱码。

3.2 缺失值处理

缺失值在反洗钱数据中普遍存在，尤其是客户职业、交易对手方名称、IP地址等非核心必填字段。缺失值处理策略需根据字段重要性、缺失比例和业务含义综合选择。

3.3 异常值检测

异常值检测用于识别偏离正常交易模式的极端值或可疑模式。在反洗钱场景中，异常值可能是真正的可疑交易，也可能是数据录入错误。常用的检测方法包括：

• 统计方法：Z-Score（适用于正态分布数据）、IQR（四分位距法，适用于偏态分布）。
• 距离方法：LOF（局部异常因子）、DBSCAN聚类。
• 业务规则：单笔交易金额超过客户年收入10倍、同一账户1小时内交易次数超过50次。

以下是一个基于IQR的异常值检测代码示例：

import pandas as pd

def detect_outliers_iqr(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]
    return outliers

# 示例：检测交易金额异常
txn_data = pd.read_csv('transactions.csv')
amount_outliers = detect_outliers_iqr(txn_data, 'txn_amount')
print(f"检测到 {len(amount_outliers)} 条金额异常交易")

3.4 数据标准化

数据标准化用于消除不同特征之间的量纲差异，使模型能够公平地对待每个特征。在反洗钱场景中，交易金额（通常为万级）、交易次数（通常为个位数）、账户年龄（通常为天数）等特征量纲差异巨大，必须进行标准化处理。

常用的标准化方法：

以下是一个使用Scikit-learn进行标准化的代码示例：

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
import pandas as pd

# 假设特征矩阵 X 包含：['txn_amount', 'txn_count', 'account_age']
X = pd.DataFrame({
    'txn_amount': [5000, 12000, 800, 200000, 3500],
    'txn_count': [3, 15, 1, 45, 7],
    'account_age': [365, 120, 730, 30, 500]
})

# Z-Score标准化
scaler_z = StandardScaler()
X_z = scaler_z.fit_transform(X)

# Robust标准化（抗异常值）
scaler_robust = RobustScaler()
X_robust = scaler_robust.fit_transform(X)

print("Z-Score标准化结果：\n", X_z[:3])
print("Robust标准化结果：\n", X_robust[:3])

3.5 数据预处理完整流程

以下SVG图展示了数据预处理在可疑交易推理链路中的完整流程，从原始数据输入到标准化后的特征矩阵输出：

3.6 预处理质量评估指标

数据预处理完成后，需要通过量化指标评估预处理质量，确保后续推理链路的数据基础可靠：