4. 数据清洗与预处理：缺失值处理、异常值检测、数据对齐、时间序列重采样

绩效归因分析的可靠性高度依赖输入数据的质量。原始金融时间序列通常包含缺失观测、极端报价、不同频率的数据源以及非对齐的时间戳。本章将系统讲解数据清洗与预处理的四个核心环节，确保后续模型训练建立在干净、连续、对齐的数据基础之上。

4.1 缺失值处理

金融数据缺失的常见原因包括：非交易日、停牌、数据源中断、合并调整延迟等。处理策略需根据缺失模式（随机缺失、完全随机缺失、非随机缺失）和业务场景选择。

import pandas as pd
import numpy as np

# 示例：日频收益率缺失值处理
price_df = pd.read_csv('daily_prices.csv', index_col=0, parse_dates=True)
returns = price_df.pct_change().dropna(how='all')

# 策略1：前向填充（适用于价格）
price_ffill = price_df.fillna(method='ffill')

# 策略2：线性插值（适用于短期缺失）
returns_interp = returns.interpolate(method='linear', limit=3)

# 策略3：按资产分组填充（多标的场景）
returns_grouped = returns.groupby('asset_id').apply(
    lambda x: x.fillna(method='ffill').fillna(method='bfill')
)

4.2 异常值检测

异常值可能源于数据录入错误、市场极端事件或模型假设失效。在绩效归因中，异常值会扭曲因子暴露和收益分解结果。常用检测方法包括统计阈值法和机器学习法。

• Z-Score 方法： 假设数据服从正态分布，将 |Z| > 3 的观测标记为异常。适用于收益率、波动率等近似对称分布。
• IQR 方法： 基于四分位距，将低于 Q1-1.5×IQR 或高于 Q3+1.5×IQR 的值视为异常。对偏态分布更稳健。
• 滚动窗口法： 在时间序列上使用滚动均值和标准差，检测局部异常。适合捕捉结构性突变。
• 孤立森林： 无监督集成方法，适合高维因子数据的异常检测。

# IQR 异常值检测示例
def detect_outliers_iqr(series, factor=1.5):
    Q1 = series.quantile(0.25)
    Q3 = series.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - factor * IQR
    upper_bound = Q3 + factor * IQR
    return (series < lower_bound) | (series > upper_bound)

# 滚动窗口异常检测（窗口20天）
rolling_mean = returns.rolling(20).mean()
rolling_std = returns.rolling(20).std()
z_scores = (returns - rolling_mean) / rolling_std
outliers = z_scores.abs() > 3

# 处理策略：截断（Winsorize）而非直接删除
returns_clipped = returns.clip(
    lower=returns.quantile(0.01),
    upper=returns.quantile(0.99),
    axis=1
)

4.3 数据对齐

绩效归因通常需要合并多个数据源：日频收益率、月频因子暴露、季频财务报表、周频行业分类。不同频率的数据必须对齐到统一的时间戳网格上，否则归因计算会产生偏差。

# 多源数据对齐示例
returns_daily = pd.read_csv('returns_daily.csv', index_col=0, parse_dates=True)
factor_exposure_monthly = pd.read_csv('factor_exposure_monthly.csv', index_col=0, parse_dates=True)

# 策略1：左连接 + 前向填充
aligned = returns_daily.join(factor_exposure_monthly, how='left')
aligned = aligned.fillna(method='ffill')

# 策略2：重采样到统一频率（日频转周频）
returns_weekly = returns_daily.resample('W-FRI').apply(
    lambda x: (1 + x).prod() - 1
)

# 策略3：使用 reindex 对齐到指定日历
trading_calendar = pd.date_range('2023-01-01', '2023-12-31', freq='B')
aligned_calendar = factor_exposure_monthly.reindex(trading_calendar, method='ffill')

4.4 时间序列重采样

重采样是将时间序列从一种频率转换为另一种频率的过程。在绩效归因中，重采样用于统一归因周期（如将日频归因汇总为月频报告）、降噪以及匹配不同数据源的频率。

# 重采样操作示例
import pandas as pd

# 日频收益率数据
dates = pd.date_range('2023-01-01', '2023-12-31', freq='B')
returns = pd.Series(np.random.randn(len(dates)) * 0.02, index=dates)

# 降采样：日频→月频（复合收益率）
monthly_returns = returns.resample('M').apply(
    lambda x: (1 + x).prod() - 1
)

# 降采样：日频→周频（最后一个交易日）
weekly_last = returns.resample('W-FRI').last()

# 升采样：月频→日频（前向填充）
monthly_index = pd.date_range('2023-01-31', '2023-12-31', freq='M')
monthly_data = pd.Series([0.01, 0.02, -0.005, 0.015], index=monthly_index[:4])
daily_index = pd.date_range('2023-01-31', '2023-04-30', freq='B')
daily_data = monthly_data.reindex(daily_index, method='ffill')