2. IC 计算实战：使用 Python 计算 Rank IC 与 Pearson IC

信息系数（Information Coefficient, IC）是衡量因子预测能力最核心的统计量。本章将手把手演示如何用 Python 计算两种最常用的 IC 形式——Pearson IC（线性相关）与 Rank IC（秩相关），并重点剖析实战中极易踩中的计算陷阱。

2.1 数据准备与预处理

在计算 IC 之前，必须确保数据已经过严格的截面对齐与清洗。以下为典型的数据结构：

2.2 Pearson IC 计算（线性相关系数）

Pearson IC 衡量因子值与未来收益率之间的线性相关程度，取值范围 [-1, 1]。其计算公式为：

Pearson IC = corr(factor_value, forward_return)

Python 实现（使用 scipy.stats.pearsonr）：

import pandas as pd
import numpy as np
from scipy.stats import pearsonr

def calc_pearson_ic(df, date_col='trade_date', factor_col='factor_value',
                    return_col='forward_return'):
    """
    计算每日截面 Pearson IC
    返回: DataFrame 包含日期与对应 IC 值
    """
    ic_list = []
    for date, group in df.groupby(date_col):
        # 剔除缺失值
        valid = group[[factor_col, return_col]].dropna()
        if len(valid) < 30:   # 样本量不足时跳过
            continue
        ic_val, p_val = pearsonr(valid[factor_col], valid[return_col])
        ic_list.append({'trade_date': date, 'pearson_ic': ic_val,
                        'p_value': p_val})
    ic_df = pd.DataFrame(ic_list)
    return ic_df

# 示例调用
# pearson_ic_df = calc_pearson_ic(factor_data)

2.3 Rank IC 计算（斯皮尔曼秩相关系数）

Rank IC 使用排序后的秩次代替原始数值，衡量因子排序与收益排序的一致性。它对极端值和异常分布更稳健，是业界最常用的 IC 形式。

Python 实现（使用 scipy.stats.spearmanr）：

from scipy.stats import spearmanr

def calc_rank_ic(df, date_col='trade_date', factor_col='factor_value',
                 return_col='forward_return'):
    """
    计算每日截面 Rank IC (Spearman)
    """
    ic_list = []
    for date, group in df.groupby(date_col):
        valid = group[[factor_col, return_col]].dropna()
        if len(valid) < 30:
            continue
        # 直接对原始值计算 Spearman 秩相关
        ic_val, p_val = spearmanr(valid[factor_col], valid[return_col])
        ic_list.append({'trade_date': date, 'rank_ic': ic_val,
                        'p_value': p_val})
    ic_df = pd.DataFrame(ic_list)
    return ic_df

# 示例调用
# rank_ic_df = calc_rank_ic(factor_data)

2.4 Pearson IC vs Rank IC 对比

2.5 IC 计算中的常见陷阱

以下 5 个陷阱是导致 IC 结果失真或过拟合的最常见原因，必须逐一排查：

1. 未来信息泄露（Look-ahead Bias）
   因子计算时使用了未来数据（如用 T+1 的收盘价计算 T 日的因子）。
   ❌ 错误：用当日收盘价计算因子，却匹配当日收益率。
   ✅ 正确：因子值使用 T 日收盘数据，收益率使用 T+1 至 T+N 区间。
2. 幸存者偏差（Survivorship Bias）
   回测数据只包含当前仍在交易的股票，退市股票被剔除。
   ❌ 错误：使用当前成分股回溯历史 IC。
   ✅ 正确：使用历史快照数据，包含当时所有上市股票。
3. 截面样本量不足
   某些日期（如节假日前后）可交易股票数量过少，导致 IC 统计不可靠。
   ❌ 错误：对所有日期一视同仁。
   ✅ 正确：设置最低样本量阈值（如 30 只），低于阈值时标记为 NaN。
4. 极端值污染
   因子或收益率的极端值会严重扭曲 Pearson IC。
   ❌ 错误：直接对原始值计算 Pearson IC。
   ✅ 正确：先做 MAD 去极值或 Winsorize 处理，或直接使用 Rank IC。
5. 多重比较与数据窥探（Data Snooping）
   在大量因子中反复筛选高 IC 的因子，导致统计显著性虚高。
   ❌ 错误：仅报告 IC 均值，不进行多重假设检验校正。
   ✅ 正确：报告 IC 均值、标准差、IR（IC 均值/标准差）、t 统计量及 FDR 校正后的 p 值。

2.6 IC 计算流程总览

下图展示了从原始数据到 IC 序列输出的完整计算链路，以及各环节对应的陷阱防范措施：

2.7 完整计算示例（含陷阱检查）

以下代码整合了上述所有要点，生成一份可直接运行的 IC 计算函数：

import pandas as pd
import numpy as np
from scipy.stats import pearsonr, spearmanr

def robust_ic_calculation(df, date_col='trade_date', factor_col='factor_value',
                          return_col='forward_return', min_stocks=30,
                          method='rank'):
    """
    稳健的 IC 计算函数，内置陷阱检查

    参数:
        df: DataFrame，包含日期、因子值、未来收益率
        date_col: 日期列名
        factor_col: 因子值列名
        return_col: 未来收益率列名
        min_stocks: 最小截面样本量
        method: 'rank' 或 'pearson'

    返回:
        ic_df: 包含日期、IC值、p值、样本量的DataFrame
    """
    results = []
    for date, group in df.groupby(date_col):
        valid = group[[factor_col, return_col]].dropna()
        n = len(valid)

        # 陷阱检查 1：样本量不足
        if n < min_stocks:
            continue

        # 陷阱检查 2：极端值（仅对 Pearson IC 做去极值）
        if method == 'pearson':
            # 使用 MAD 去极值
            factor_vals = valid[factor_col].values
            ret_vals = valid[return_col].values
            # 简单 3-sigma 截断
            f_mean, f_std = np.nanmean(factor_vals), np.nanstd(factor_vals)
            r_mean, r_std = np.nanmean(ret_vals), np.nanstd(ret_vals)
            factor_clipped = np.clip(factor_vals, f_mean - 3*f_std, f_mean + 3*f_std)
            ret_clipped = np.clip(ret_vals, r_mean - 3*r_std, r_mean + 3*r_std)
            ic_val, p_val = pearsonr(factor_clipped, ret_clipped)
        else:
            # Rank IC 天然抗极端值
            ic_val, p_val = spearmanr(valid[factor_col], valid[return_col])

        results.append({
            date_col: date,
            f'{method}_ic': ic_val,
            'p_value': p_val,
            'n_stocks': n
        })

    ic_df = pd.DataFrame(results)
    # 陷阱检查 3：输出统计摘要
    print(f"IC 均值: {ic_df[f'{method}_ic'].mean():.4f}")
    print(f"IC 标准差: {ic_df[f'{method}_ic'].std():.4f}")
    print(f"IC IR: {ic_df[f'{method}_ic'].mean() / ic_df[f'{method}_ic'].std():.4f}")
    print(f"IC > 0 占比: {(ic_df[f'{method}_ic'] > 0).mean():.2%}")
    return ic_df

# 使用示例
# ic_result = robust_ic_calculation(factor_data, method='rank')