4. 单变量衍生方法（下）：行业中性化、Rank变换、极值处理

在因子研究流程中，原始变量往往混杂着行业结构、量纲差异和极端值噪声。本章聚焦三种核心衍生技术：行业中性化消除行业偏见，Rank变换统一变量分布，极值处理（MAD与分位数截尾）抑制异常值干扰。三者共同构成因子质量提升的基础工序。

4.1 行业中性化：剥离行业结构影响

行业中性化的目标是移除因子中由行业属性带来的系统性偏差，使因子在行业内可比。常见做法是回归残差法：将原始因子对行业虚拟变量做线性回归，取残差作为中性化后的因子值。

# Python示例：回归残差法行业中性化
import pandas as pd
import statsmodels.api as sm

def industry_neutralize(factor, industry_dummies):
    """
    factor: 原始因子值（Series）
    industry_dummies: 行业虚拟变量矩阵（DataFrame）
    返回中性化后的因子（Series）
    """
    X = sm.add_constant(industry_dummies)
    model = sm.OLS(factor, X).fit()
    residual = model.resid
    return residual

4.2 Rank变换：统一分布形态

Rank变换将原始变量转换为排序后的百分位秩，使因子值均匀分布在[0,1]区间。这能有效处理偏态分布和量纲差异，且对异常值具有天然鲁棒性。

# Python示例：Rank变换实现
import numpy as np
from scipy.stats import rankdata, norm

def rank_transform(factor, method='percentile'):
    """
    factor: 原始因子值（array-like）
    method: 'percentile' 或 'norm_score'
    返回变换后的因子
    """
    N = len(factor)
    ranks = rankdata(factor, method='average')  # 处理并列秩
    if method == 'percentile':
        return (ranks - 1) / (N - 1)
    elif method == 'norm_score':
        percentiles = (ranks - 0.5) / N
        return norm.ppf(percentiles)
    else:
        raise ValueError("method must be 'percentile' or 'norm_score'")

4.3 极值处理：MAD法与分位数截尾

极端值会扭曲因子与未来收益的相关性估计。两种主流方法：MAD（中位数绝对偏差）基于稳健统计量识别异常值；分位数截尾直接设定上下限阈值。

4.3.1 MAD法

MAD定义为数据点与中位数绝对偏差的中位数。相比标准差，MAD对异常值不敏感，是稳健的离散度度量。

# Python示例：MAD截断
def mad_winsorize(factor, k=5):
    median = np.median(factor)
    mad = np.median(np.abs(factor - median))
    upper = median + k * mad
    lower = median - k * mad
    return np.clip(factor, lower, upper)

4.3.2 分位数截尾

直接基于分位数设定阈值，适用于已知尾部形状或需要固定比例截断的场景。

# Python示例：分位数截尾
def quantile_winsorize(factor, lower=0.01, upper=0.99):
    lo = np.quantile(factor, lower)
    hi = np.quantile(factor, upper)
    return np.clip(factor, lo, hi)

4.4 三种方法的组合使用顺序

在实际因子衍生流水线中，三种方法通常按固定顺序组合：

1. 第一步：极值处理（MAD或分位数截尾）—— 先抑制极端值对后续中性化和Rank变换的干扰。
2. 第二步：行业中性化 —— 在干净数据上剥离行业结构。
3. 第三步：Rank变换 —— 最后统一分布形态，便于跨截面比较和IC计算。

4.5 本章小结