4. 数据获取与清洗：从 Tushare/akshare 获取行情数据、数据缺失值处理、复权价格计算

量化回测的基石是高质量、连续、无偏的行情数据。本章聚焦于从国内主流数据源（Tushare Pro 与 akshare）获取原始数据，并完成清洗与复权处理，确保回测引擎输入的数据口径一致、逻辑正确。

4.1 数据源选型对比

4.2 数据获取流程

以下代码演示从 Tushare Pro 获取沪深 300 成分股日线数据，并同时展示 akshare 的等效调用方式。

4.2.1 Tushare Pro 获取日线

import tushare as ts
import pandas as pd

# 初始化（请替换为你的 token）
pro = ts.pro_api('your_tushare_token')

# 获取平安银行（000001.SZ）日线，前复权
df_ts = pro.daily(
    ts_code='000001.SZ',
    start_date='20230101',
    end_date='20231231',
    adj='qfq'  # 前复权
)

# 字段重命名与排序
df_ts.rename(columns={
    'trade_date': 'date',
    'vol': 'volume'
}, inplace=True)
df_ts['date'] = pd.to_datetime(df_ts['date'])
df_ts.sort_values('date', inplace=True)
df_ts.reset_index(drop=True, inplace=True)

print(df_ts.head())

4.2.2 akshare 获取日线

import akshare as ak

# 获取平安银行日线（未复权）
df_ak = ak.stock_zh_a_hist(
    symbol="000001",
    period="daily",
    start_date="20230101",
    end_date="20231231",
    adjust=""  # 空字符串表示未复权
)

# 字段标准化
df_ak.rename(columns={
    '日期': 'date',
    '开盘': 'open',
    '收盘': 'close',
    '最高': 'high',
    '最低': 'low',
    '成交量': 'volume',
    '成交额': 'amount'
}, inplace=True)
df_ak['date'] = pd.to_datetime(df_ak['date'])
df_ak.sort_values('date', inplace=True)
df_ak.reset_index(drop=True, inplace=True)

print(df_ak.head())

4.3 数据缺失值处理

行情数据常见的缺失场景包括：停牌日、新股上市前、退市后、节假日非交易日。处理策略需根据回测逻辑选择。

# 示例：停牌日前向填充
df = df.set_index('date')
# 生成完整交易日日历
all_dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='B')
df = df.reindex(all_dates)

# 前向填充停牌日数据
df[['open', 'high', 'low', 'close', 'volume']] = df[[
    'open', 'high', 'low', 'close', 'volume'
]].fillna(method='ffill')

# 成交量缺失（停牌）填充为 0
df['volume'] = df['volume'].fillna(0)

# 删除仍为 NaN 的行（如上市前）
df.dropna(subset=['close'], inplace=True)

4.4 复权价格计算

复权是为了消除分红、送股、配股等事件对价格序列造成的非交易性跳变。回测必须使用复权价格，否则收益率计算会失真。

4.4.1 复权类型对比

4.4.2 手动复权计算（以 akshare 为例）

当数据源未提供复权数据时，可通过复权因子自行计算。

# 获取复权因子（akshare）
factor_df = ak.stock_zh_a_adjust(symbol="000001", start_date="20230101", end_date="20231231")
# 假设 factor_df 包含 'date' 和 'adj_factor' 列

# 合并到行情数据
df = df.merge(factor_df[['date', 'adj_factor']], on='date', how='left')

# 前复权计算：最新复权因子为基准
latest_factor = df['adj_factor'].iloc[-1]
df['close_adj'] = df['close'] * df['adj_factor'] / latest_factor
df['open_adj']  = df['open']  * df['adj_factor'] / latest_factor
df['high_adj']  = df['high']  * df['adj_factor'] / latest_factor
df['low_adj']   = df['low']   * df['adj_factor'] / latest_factor

# 成交量不需要复权
df['volume_adj'] = df['volume']

4.5 数据清洗与复权流程总览

下图展示了从原始数据到回测可用数据的完整处理链路。

4.6 数据口径校验清单

在将数据送入回测引擎前，建议逐项检查以下口径。

• 时间对齐： 所有股票使用同一交易日历，避免因停牌导致长度不一致。
• 字段统一： 强制使用 date、open、high、low、close、volume、amount 标准命名。
• 复权标记： 在 DataFrame 的 attrs 或列注释中记录复权类型（qfq/hfq/none）。
• 极端值过滤： 检查涨跌幅是否超过交易所限制（A 股主板 ±10%，科创/创业板 ±20%）。
• 成交量单位： 确认是“股”还是“手”，回测中统一转换为“股”。