2. 基础知识
在正式进入数据清洗与回测之前，必须先建立一套统一的语言体系。退市证券与幸存者偏差看似是两个独立话题，但在量化研究的实际流程中，它们往往同时出现：一只股票退市，导致历史数据库缺失其后续价格；而研究者若只使用当前仍在交易的证券样本，就会系统性高估策略收益。本章围绕这一交叉问题，梳理核心概念、常用术语与典型应用场景，为后续实战打下概念基础。
一、核心原理：为什么退市数据会制造偏差
幸存者偏差（Survivorship Bias）的本质是样本选择偏差：当研究样本只包含“存活至今”的个体时，那些已经消失的个体被系统性剔除，而它们的表现往往与存活者存在显著差异。在证券市场里，退市公司通常经历了经营恶化、财务危机、被并购或私有化，其股价在退市前多表现为持续下跌或剧烈波动。如果数据库只保留当前上市股票，回测时就会“自动避开”这些糟糕的结局，从而虚增收益、低估风险。
更隐蔽的问题在于，退市并非单一状态。不同退市路径对应不同的数据终点：有的股票退市后进入三板继续交易，有的被吸收合并后转换为现金或换股，有的因欺诈发行被强制退市并进入赔偿程序。若数据处理时统一按“最后收盘价卖出”处理，可能高估或低估实际回收金额。因此，理解退市类型与数据终点，是消除偏差的第一步。
二、常见术语与概念清单
以下术语在数据清洗、回测框架和风险报告中频繁出现，建议结合具体数据库字段理解其含义。
| 术语 | 英文/缩写 | 含义与数据影响 |
|---|---|---|
| 幸存者偏差 | Survivorship Bias | 仅使用当前存活样本，导致收益高估、风险低估 |
| 退市 | Delisting | 证券终止上市交易，需记录退市日期与原因 |
| 前视偏差 | Look-ahead Bias | 使用未来信息，常与退市数据处理不当同时出现 |
| 点-in-time数据 | Point-in-Time, PIT | 按历史时点还原真实可见信息，避免事后修正 |
| 退市收益率 | Delisting Return | 退市前最后交易日至退市结算的收益，常为负 |
| 股票池 | Universe | 回测可选证券集合，需动态包含已退市证券 |
| 复权因子 | Adjustment Factor | 处理分红送转，退市时需确认因子是否延续 |
| 退市整理期 | Delisting Consolidation Period | 退市前最后交易阶段，价格波动剧烈 |
三、方法流程：从原始数据到无偏样本
处理退市证券与幸存者偏差，通常遵循以下流程。该流程可嵌入日常数据管道，也可作为回测前的数据质量检查清单。
- 获取全历史证券列表：包括已退市、已并购、已私有化的证券代码，而非仅当前上市列表。
- 标记生命周期：为每只证券记录上市日期、退市日期、退市类型、退市原因。
- 补齐退市后数据：根据退市类型，补充最后收盘价、换股比例、回购现金或三板价格。
- 构建动态股票池：在任意回测时点，只纳入当时已上市且未退市的证券。
- 计算退市收益：将退市事件作为一次强制卖出或换股处理，计入组合收益。
- 校验与复盘：对比含退市样本与不含退市样本的回测差异，量化偏差幅度。
# 示例：动态股票池构建伪代码
for date in trading_days:
universe = []
for sec in all_securities:
if sec.list_date <= date and (sec.delist_date is None or sec.delist_date > date):
universe.append(sec.code)
# 使用 universe 进行当日选股与回测
run_strategy(date, universe)
四、应用场景与常见误区
退市数据处理并非只服务于学术研究，它在多个实务场景中直接影响结论可靠性。
- 多因子回测：价值因子、小市值因子对退市股敏感，缺失退市样本会显著高估小盘策略收益。
- 指数编制与跟踪：指数历史成分股若剔除退市股，会低估指数真实波动与最大回撤。
- 基金业绩归因：清盘基金若被排除，基金行业整体存活者偏差会夸大平均业绩。
- 风险模型校准：违约概率、退市概率模型需要正负样本，缺失退市样本导致模型偏乐观。
- 监管与合规分析：退市原因分类有助于识别财务造假、持续亏损等风险特征。
另一个高频误区是用当前成分股回溯历史。例如，用今天的沪深300成分股去回测十年前策略，等于提前知道了哪些股票能活下来并进入指数。这种前视偏差与幸存者偏差叠加，会使回测结果严重失真。解决方法是使用历史成分股快照，并确保退市证券在退市前仍在样本中。
最后需要强调，退市数据清洗不是一次性任务，而是持续的数据治理过程。随着退市制度变化、并购重组增多，退市类型和结算方式会不断更新。建立可扩展的退市事件表、定期校验数据完整性，才能让后续的回测与风险分析建立在可信样本之上。