1. 课程导论：量化回测中数据清洗的重要性、常见数据问题概览、课程目标与学习路径
1.1 为什么数据清洗是量化回测的“地基”？
在量化策略开发中，回测结果的可信度直接取决于输入数据的质量。业界流传一句经典论断：“Garbage In, Garbage Out (GIGO)”。如果原始行情数据、财务数据或另类数据存在错误、缺失或偏差，无论策略逻辑多么精妙，回测报告都只是“数字幻觉”。
数据清洗并非简单的“去脏”，而是将原始数据转化为可供策略引擎直接消费的“干净时间序列”的过程。它直接影响以下三个核心维度：
| 维度 | 影响说明 | 典型后果（若未清洗） |
|---|---|---|
| 回测真实性 | 确保买卖信号基于真实可成交的价格序列 | 未来函数、幸存者偏差、价格跳跃失真 |
| 策略稳定性 | 降低噪声对参数优化的干扰 | 过拟合、样本外失效、回撤曲线异常 |
| 计算效率 | 减少因异常值导致的算法崩溃或循环中断 | 回测耗时剧增、内存溢出、结果不可复现 |
💡 核心认知： 数据清洗不是“预处理”的附属环节，而是量化回测流程中与策略设计同等重要的独立模块。一个经过严格清洗的数据集，往往能直接提升策略夏普比率 0.2~0.5（视数据质量而定）。
1.2 常见数据问题概览
根据对全球主流金融数据源（Wind、Bloomberg、Yahoo Finance、Quandl 等）的长期观察，量化回测中反复出现的数据问题可归纳为以下六大类：
- 缺失值（Missing Values）： 停牌日、节假日、数据源断连导致的 NaN 或空行。
- 异常值（Outliers）： 错误报价、闪电崩盘期间的极端 tick、除权除息未调整导致的跳空。
- 重复数据（Duplicates）： 同一时间戳出现多条记录，或跨数据源合并时产生的重复行。
- 时间戳错乱（Timestamp Misalignment）： 时区未统一、非交易时段残留数据、毫秒级精度不一致。
- 幸存者偏差（Survivorship Bias）： 回测时只包含当前存续标的，忽略了已退市或破产的标的。
- 前视偏差（Look-Ahead Bias）： 使用了未来数据（如未来财报、复权因子）来生成当前信号。
⚠️ 常见误区： 很多初学者只关注缺失值填充，却忽略了“幸存者偏差”和“前视偏差”这两个隐蔽但破坏力极强的数据陷阱。本课程将用专门章节拆解这两类偏差的检测与修复方法。
1.3 数据清洗在回测流程中的位置
下图展示了从原始数据到策略绩效评估的完整链路，其中数据清洗处于承上启下的核心枢纽位置：
1.4 课程目标与学习路径
本课程旨在帮助学员建立一套可工程化、可复现、可审计的数据清洗工作流。完成本课程后，你将能够：
- 识别 6 类以上回测数据陷阱，并给出对应的检测代码。
- 处理 多源异构数据（CSV、Parquet、API 实时流）的标准化对齐。
- 构建 基于 Pandas 和 NumPy 的自动化清洗管道，支持增量更新。
- 验证 清洗后数据集的统计一致性（分布检验、自相关检验、无偏性检验）。
课程采用“理论 + 代码实战 + 案例复盘”三阶段递进结构：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1~8 章 | 掌握缺失值、异常值、重复值的标准清洗模板 |
| 进阶篇 | 第 9~20 章 | 处理幸存者偏差、前视偏差、多资产对齐、高频数据清洗 |
| 实战篇 | 第 21~30 章 | 构建完整清洗管道，完成 3 个真实策略的回测数据复盘 |
📌 学习建议： 每章都配有可运行的 Jupyter Notebook 示例。建议在本地搭建 Python 3.9+ 环境，安装 pandas、numpy、matplotlib、seaborn 等常用库。遇到数据问题先尝试自己 debug，再对照课程代码——这是提升数据敏感度的最佳路径。
1.5 一个简单的数据清洗热身
在正式进入课程之前，我们先通过一段极简代码感受数据清洗的“手感”。以下代码演示了如何检测并填充一个简单的缺失值序列：
import pandas as pd
import numpy as np
# 模拟原始行情数据（含缺失值）
dates = pd.date_range('2024-01-01', periods=10, freq='D')
prices = [100.0, 101.5, np.nan, 103.2, 104.8,
np.nan, 107.1, 108.0, np.nan, 110.5]
df = pd.DataFrame({'date': dates, 'close': prices})
print("原始数据：")
print(df)
# 检测缺失值
missing_mask = df['close'].isna()
print(f"\n缺失值数量：{missing_mask.sum()}")
# 前向填充（ffill）：用上一个非缺失值填充
df['close_clean'] = df['close'].ffill()
print("\n清洗后数据：")
print(df[['date', 'close_clean']])