2. 数据基础设施搭建：数据源选择、数据库设计与数据清洗对齐

数据基础设施是因子库的“地基”。数据源的质量、数据库的读写性能以及数据清洗对齐的严谨程度，直接决定了后续因子计算与IC分析的可靠性。本章从三个核心环节展开：数据源选型、数据库设计、数据清洗与对齐流程。

2.1 数据源选择：Wind、Tushare、聚宽等对比

国内量化领域主流数据源可分为三类：商业终端、开源社区平台、量化SaaS平台。下表从数据覆盖、更新频率、成本、API易用性四个维度进行对比。

2.2 数据库设计：MySQL vs ClickHouse

因子库对数据库的核心要求是：列式存储（便于按因子字段批量读取）、时间分区（按交易日快速过滤）、高压缩比（降低存储成本）。MySQL与ClickHouse是两种典型选型。

2.2.1 数据库选型对比

2.2.2 数据库表结构设计（以MySQL为例）

因子库核心表设计遵循“宽表+分区”原则。以下为因子日频数据表结构示例：

CREATE TABLE factor_daily (
    trade_date DATE NOT NULL,
    stock_code VARCHAR(10) NOT NULL,
    factor_pe_ttm DECIMAL(20,4),
    factor_pb DECIMAL(20,4),
    factor_mom_20d DECIMAL(20,4),
    factor_vol_20d DECIMAL(20,4),
    factor_turnover_5d DECIMAL(20,4),
    factor_roe_ttm DECIMAL(20,4),
    -- 更多因子字段...
    update_time DATETIME DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (trade_date, stock_code),
    INDEX idx_stock (stock_code),
    INDEX idx_date (trade_date)
) ENGINE=InnoDB
PARTITION BY RANGE (YEAR(trade_date)) (
    PARTITION p2020 VALUES LESS THAN (2021),
    PARTITION p2021 VALUES LESS THAN (2022),
    PARTITION p2022 VALUES LESS THAN (2023),
    PARTITION p2023 VALUES LESS THAN (2024),
    PARTITION p2024 VALUES LESS THAN (2025),
    PARTITION p_future VALUES LESS THAN MAXVALUE
);

2.3 数据清洗与对齐流程

数据清洗与对齐是因子库搭建中最耗时、最易出错的环节。核心流程包括：缺失值处理、异常值检测、复权对齐、交易日历对齐、截面对齐。

2.3.1 清洗对齐流程步骤

1. 缺失值处理：对因子列按股票分组，前向填充（ffill）最多N个交易日，超出则置为NaN。
2. 异常值检测：使用MAD（中位数绝对偏差）或3σ方法，将超出阈值的值替换为边界值（winsorize）。
3. 复权对齐：统一使用后复权价格计算因子，避免前复权带来的未来信息泄露。
4. 交易日历对齐：以交易所交易日历为基准，剔除非交易日数据，确保所有股票在同一日期有相同的时间戳。
5. 截面对齐：在每个交易日，确保所有股票因子值在同一时间截面（如收盘后）计算，避免日内时序错位。

2.3.2 数据清洗对齐流程SVG

下图展示了从原始数据到因子库的完整清洗对齐流水线：

2.4 数据对齐的常见陷阱与解决方案

2.5 数据基础设施架构总览

下图展示了从数据源到因子库的完整数据流架构：