4. 因子标准化与中性化：Z-score标准化、市值中性化、行业中性化的原理与实现

原始因子数据通常存在量纲不统一、极端值干扰、与风险因子（市值、行业）高度相关等问题。直接使用原始因子进行分层回放，会导致分层结果被少数极端值或系统性偏差主导。本章讲解三种核心处理技术：Z-score标准化消除量纲差异，市值中性化与行业中性化剥离风险因子影响，确保因子纯净度。

4.1 Z-score标准化：消除量纲与极端值影响

Z-score标准化将原始因子值转换为以0为中心、标准差为1的标准分数。其核心假设是因子值近似服从正态分布，转换后可直接跨截面、跨因子比较。

import numpy as np
import pandas as pd

def zscore_standardize(factor_series):
    """
    对单截面因子序列做Z-score标准化
    factor_series: pd.Series, index为股票代码
    返回标准化后的pd.Series
    """
    mu = factor_series.mean()
    sigma = factor_series.std()
    # 防止sigma=0导致除零
    if sigma == 0:
        return pd.Series(0, index=factor_series.index)
    return (factor_series - mu) / sigma

# 示例：对2024-01-31截面因子做标准化
daily_factor = raw_factor.loc['2024-01-31']
daily_factor_std = zscore_standardize(daily_factor)
print(daily_factor_std.describe())
# 输出：mean ≈ 0, std ≈ 1

4.2 市值中性化：剥离规模效应

市值因子是A股市场最强的系统性风险因子。若因子与市值高度相关，分层回放中市值效应会掩盖因子本身的选股能力。市值中性化通过截面回归将因子中与市值线性相关的部分剔除。

实现步骤：

1. 构建回归模型： 以原始因子为因变量，市值（或对数市值）为自变量，做截面OLS回归。
2. 提取残差： 回归残差即为剔除市值影响后的纯净因子。
3. 可选： 对残差再做Z-score标准化，得到最终因子。

import statsmodels.api as sm

def market_neutralize(factor_series, market_cap_series):
    """
    市值中性化：回归残差法
    factor_series: 原始因子值
    market_cap_series: 对数市值（或市值）
    返回中性化后的因子值（残差）
    """
    # 去除缺失值
    df = pd.DataFrame({'factor': factor_series, 'mkt_cap': market_cap_series}).dropna()
    if len(df) < 10:
        return factor_series * np.nan  # 样本不足返回空
    
    X = sm.add_constant(df['mkt_cap'])
    y = df['factor']
    model = sm.OLS(y, X).fit()
    residuals = model.resid
    
    # 将残差映射回原始索引
    result = pd.Series(index=factor_series.index, dtype=float)
    result.loc[residuals.index] = residuals
    return result

# 使用示例
neutralized = market_neutralize(daily_factor_std, log_market_cap.loc['2024-01-31'])

4.3 行业中性化：剥离行业配置效应

不同行业的因子分布天然存在差异（如银行股PE普遍低于科技股）。若不进行行业中性化，分层回放结果可能反映行业配置偏差而非因子选股能力。行业中性化通常采用虚拟变量回归法或行业内标准化法。

def industry_neutralize_by_group(factor_series, industry_series):
    """
    行业内标准化法：按行业分组做Z-score
    factor_series: 因子值
    industry_series: 行业分类（如申万一级行业代码）
    返回行业中性化后的因子
    """
    result = factor_series.groupby(industry_series).transform(
        lambda x: (x - x.mean()) / x.std() if x.std() > 0 else 0
    )
    return result

def industry_neutralize_by_regression(factor_series, industry_dummies):
    """
    虚拟变量回归法：行业中性化
    industry_dummies: pd.DataFrame，每列为一个行业虚拟变量
    """
    df = pd.concat([factor_series, industry_dummies], axis=1).dropna()
    X = sm.add_constant(df[industry_dummies.columns])
    y = df[factor_series.name]
    model = sm.OLS(y, X).fit()
    residuals = model.resid
    result = pd.Series(index=factor_series.index, dtype=float)
    result.loc[residuals.index] = residuals
    return result

4.4 综合处理流程：标准化 + 中性化串联

在实际量化策略中，因子处理通常按以下流水线执行：

1. 异常值处理： MAD截尾或分位数截断（3σ或1%/99%分位数）。
2. 行业中性化： 行业内Z-score标准化（推荐）或虚拟变量回归。
3. 市值中性化： 以对数市值为自变量做截面回归取残差。
4. 最终标准化： 对残差再做一次Z-score标准化，得到最终因子。

def factor_pipeline(factor_df, market_cap_df, industry_df):
    """
    完整因子处理流水线
    factor_df: DataFrame, index=日期, columns=股票代码
    market_cap_df: 同上，对数市值
    industry_df: DataFrame, index=日期, columns=股票代码, 值为行业代码
    返回处理后的因子DataFrame
    """
    processed = pd.DataFrame(index=factor_df.index, columns=factor_df.columns)
    
    for date in factor_df.index:
        # 取当日截面数据
        f = factor_df.loc[date].dropna()
        m = market_cap_df.loc[date]
        ind = industry_df.loc[date]
        
        # 1. 行业内标准化
        f_ind_neu = f.groupby(ind).transform(
            lambda x: (x - x.mean()) / x.std() if x.std() > 0 else 0
        )
        
        # 2. 市值中性化（回归残差）
        df_reg = pd.DataFrame({'factor': f_ind_neu, 'mkt': m}).dropna()
        if len(df_reg) > 20:
            X = sm.add_constant(df_reg['mkt'])
            y = df_reg['factor']
            model = sm.OLS(y, X).fit()
            residuals = model.resid
            # 3. 最终标准化
            final = (residuals - residuals.mean()) / residuals.std()
            processed.loc[date, final.index] = final
    
    return processed

4.5 常见问题与避坑