3、数据采集与清洗：数据源类型、缺失值处理与异常值检测

风险归因模型的预测能力高度依赖输入数据的质量与广度。本章聚焦于数据采集阶段的多源异构数据整合，以及清洗环节中缺失值与异常值的系统性处理策略。高质量的特征工程始于对数据源特性的深刻理解与严格的清洗流程。

3.1 数据源类型与特征

风险归因模型通常融合三类数据源：市场数据、财务数据与另类数据。下表对比了各类数据的关键属性与典型应用场景。

3.2 缺失值处理策略

缺失值在金融时间序列中普遍存在，处理不当会导致因子计算偏差或模型训练失败。处理流程需区分缺失机制与数据结构。

3.2.1 缺失机制分类

• 完全随机缺失（MCAR）：缺失与观测数据无关，可直接删除或简单插补。
• 随机缺失（MAR）：缺失依赖于其他观测变量，需使用模型插补（如MICE）。
• 非随机缺失（MNAR）：缺失与未观测因素相关，需引入外部信息或敏感性分析。

3.2.2 常用处理方法对比

3.3 异常值检测与处理

异常值会扭曲因子载荷估计与协方差矩阵，导致风险归因结果失真。检测方法需结合数据分布特性与业务逻辑。

3.3.1 检测方法体系

• 统计方法：Z-score（正态分布）、IQR（箱线图，适用于偏态分布）、Grubbs检验。
• 距离方法：马氏距离（考虑特征相关性）、LOF（局部离群因子，适用于密度不均数据）。
• 模型方法：孤立森林（高维有效）、DBSCAN（基于密度聚类）、Autoencoder（非线性重构误差）。

3.3.2 处理策略

3.4 数据清洗流程架构

下图展示了从多源数据采集到清洗完成的标准化流程，涵盖缺失值与异常值的并行处理路径。

3.5 代码示例：缺失值与异常值处理

以下Python代码演示了使用pandas和scikit-learn对金融时间序列数据进行清洗的典型流程。

import pandas as pd
import numpy as np
from sklearn.impute import KNNImputer
from scipy import stats

# 加载示例数据（假设包含价格、成交量、财务比率）
df = pd.read_csv('risk_factor_data.csv', parse_dates=['date'])
df.set_index('date', inplace=True)

# ========== 缺失值处理 ==========
# 1. 前向填充（时间序列短期缺失）
df['price'].fillna(method='ffill', inplace=True)

# 2. 线性插值（连续型特征）
df['volume'] = df['volume'].interpolate(method='linear')

# 3. KNN插补（多特征联合，适用于MAR）
imputer = KNNImputer(n_neighbors=5)
cols_to_impute = ['pe_ratio', 'debt_ratio', 'roe']
df[cols_to_impute] = imputer.fit_transform(df[cols_to_impute])

# ========== 异常值检测与处理 ==========
# 1. IQR方法检测
Q1 = df['daily_return'].quantile(0.25)
Q3 = df['daily_return'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers_iqr = (df['daily_return'] < lower_bound) | (df['daily_return'] > upper_bound)

# 2. Z-score方法（假设近似正态）
z_scores = np.abs(stats.zscore(df['daily_return'].dropna()))
outliers_z = z_scores > 3

# 3. 截尾处理（Winsorize）
df['daily_return_winsorized'] = df['daily_return'].clip(
    lower=df['daily_return'].quantile(0.01),
    upper=df['daily_return'].quantile(0.99)
)

# 4. 标记异常点（保留信息）
df['is_outlier'] = outliers_iqr.astype(int)

print(f"缺失值处理完成，剩余样本数: {len(df)}")
print(f"检测到异常值: {outliers_iqr.sum()} 个 (IQR方法)")