4、因子计算引擎

因子计算引擎是因子库的“生产车间”，负责将原始行情、财务、另类数据转化为结构化的因子值。一个高性能、可扩展的计算引擎需要同时解决架构分层、计算模式、依赖管理和性能优化四个核心问题。本章从工程实践角度拆解这些关键设计。

4.1 架构设计：分层解耦与模块职责

因子计算引擎采用经典的三层架构：数据接入层、计算编排层、结果输出层。每层职责清晰，通过标准化接口通信，便于独立扩展与维护。

4.2 批处理与流式计算

因子计算场景天然分为两类：历史回测（批处理）和实时信号（流式计算）。两种模式在数据源、计算窗口、延迟要求上存在显著差异。

4.3 计算依赖管理

因子之间常存在依赖关系：因子B的计算需要因子A作为输入。例如，RSI 依赖 close_price 和 rolling_mean。依赖管理不当会导致重复计算、数据不一致或死循环。

采用有向无环图（DAG）管理因子依赖，核心流程如下：

1. 因子注册：每个因子声明其输入依赖（原始字段或其他因子）。
2. DAG构建：解析所有因子依赖关系，构建DAG，检测环。
3. 拓扑排序：按依赖深度确定计算顺序，无依赖的因子优先计算。
4. 增量计算：当某个因子更新时，只重新计算其下游依赖因子。

4.4 性能优化：向量化与并行计算

因子计算通常涉及大量时间序列操作，性能瓶颈集中在循环遍历和单线程执行。核心优化手段包括向量化和并行计算。

4.4.1 向量化计算

向量化利用底层C/Fortran实现（如NumPy、Pandas），避免Python层显式循环。对于因子计算中的滚动窗口、分组聚合等操作，向量化可带来10~100倍加速。

# 低效方式：Python显式循环
def sma_loop(series, window):
    result = []
    for i in range(len(series)):
        if i < window - 1:
            result.append(None)
        else:
            result.append(series[i-window+1:i+1].mean())
    return result

# 高效方式：向量化
def sma_vectorized(series, window):
    return series.rolling(window=window).mean()

4.4.2 并行计算策略

并行计算从两个维度展开：数据并行（按股票/合约拆分）和因子并行（按因子拆分）。

4.4.3 内存与I/O优化

因子计算中，内存占用和磁盘I/O往往是比CPU更稀缺的资源。以下优化策略可显著提升吞吐量：

• 列式存储：使用Parquet/Feather格式，只读取需要的列，减少I/O。
• 数据分块：将大表按时间或股票拆分为块，逐块计算，避免内存溢出。
• 中间结果缓存：使用LRU缓存或Redis缓存高频依赖因子（如rolling_mean_20），避免重复计算。
• 数据类型压缩：将float64降级为float32，int64降级为int32，内存减半且精度足够。

# 数据类型压缩示例
import pandas as pd
import numpy as np

def compress_dataframe(df):
    for col in df.select_dtypes(include=['float64']).columns:
        df[col] = df[col].astype(np.float32)
    for col in df.select_dtypes(include=['int64']).columns:
        df[col] = df[col].astype(np.int32)
    return df

# 使用前：内存占用 1.2GB
# 使用后：内存占用 0.6GB