1. 课程导入
欢迎进入《退市证券与幸存者偏差数据处理实战》。在量化研究、因子回测、指数编制和基金业绩归因中，最容易被忽视、却足以让结论完全反转的问题，往往不是模型不够复杂，而是样本本身不完整。退市证券被删除、停牌证券被跳过、历史代码被覆盖，这些看似“数据清洗”的小动作，会在时间序列上持续累积，最终形成系统性的幸存者偏差。本课程的目标，是让你具备从数据源头识别、修复并验证这类偏差的完整能力。
一、学习目标
本课程不是泛泛而谈“数据很重要”，而是围绕可落地的工程能力展开。完成全部章节后，你应当能够独立完成以下任务：
- 识别偏差来源：判断一份行情或财务数据中是否存在退市样本缺失、代码复用、成分股回溯失真等问题。
- 重建完整样本：利用退市清单、历史成分、证券主数据等，把“已消失”的证券重新纳入研究池。
- 设计回测口径：在收益计算、基准构建、因子暴露中正确处理退市日、最后交易日与清算价值。
- 验证修复效果：通过对比修复前后收益分布、因子IC、组合净值，量化幸存者偏差的影响幅度。
- 建立防御流程：把校验规则固化到数据管道中，使偏差在进入模型前就被拦截。
核心判断：幸存者偏差不是“数据缺一点”的问题，而是“缺失的样本恰好是表现最差的那一批”的问题。它会让收益率被高估、风险被低估、因子有效性被夸大。
二、核心概念
在进入实操前，需要先统一几个关键概念，避免后续章节出现理解歧义。
| 概念 | 含义 | 典型表现 |
|---|---|---|
| 幸存者偏差 | 只保留当前仍存续的样本，导致历史统计结果系统性偏高 | 回测年化收益虚高、最大回撤偏小 |
| 退市证券 | 因破产、并购、违规、私有化等原因退出交易市场的证券 | 行情在某一日戛然而止，后续无数据 |
| 前视偏差 | 使用了当时尚不可获得的信息 | 用最新成分股回溯十年前指数 |
| 代码复用 | 同一交易代码在不同时期对应不同公司 | 旧公司退市后代码被新股重新启用 |
| 点-in-time数据 | 在历史某一时点真实可见的数据快照 | 当时的成分股名单、当时的财务公告 |
其中，退市证券与幸存者偏差是贯穿全课程的主线：前者是“消失的样本”，后者是“消失带来的后果”。而点-in-time思想，则是修复过程中必须坚持的方法论——任何数据都必须还原到它当时可被观察到的状态。
三、整体框架
本课程共30章，按“认知—数据—方法—验证—工程化”五个层次递进。下面的结构图展示了各模块之间的依赖关系：偏差认知是起点，数据获取是基础，修复方法是核心，验证与工程化保证结果可复现、可防御。
五个模块并非孤立：偏差认知决定你要找什么数据，数据基础决定你能修到什么程度，修复方法决定样本是否完整，验证评估决定修复是否可信，工程化防御决定这种能力能否长期保持。缺少任何一环，偏差都会以新的形式重新出现。
四、典型场景与常见误区
为了让你快速建立“实战感”，先看一个简化但真实的场景。假设你要回测一个“低估值高股息”策略，数据源只包含当前仍在交易的股票。表面上看，策略年化收益18%，最大回撤22%。但当你把过去十年退市的股票补回来后，年化收益可能降到11%，最大回撤扩大到35%。原因很简单：那些高股息但最终退市的公司，在退市前往往经历了剧烈下跌，而它们被原始数据源悄悄删除了。
修复前样本：当前存续股票 3200 只
修复后样本：加入退市股票 480 只
回测区间：2014-01 至 2024-12
指标 修复前 修复后 差异
年化收益 18.2% 11.4% -6.8%
最大回撤 22.1% 35.3% +13.2%
夏普比率 1.35 0.62 -0.73
常见误区一：认为“退市股票占比小，影响可以忽略”。实际上，退市股票在特定年份、特定因子上的权重可能远超其数量占比。
常见误区二：直接用当前成分股回溯历史指数。这会把“后来才被纳入”的赢家提前放进组合，是典型的前视偏差叠加幸存者偏差。
常见误区三：只补行情不补财务。退市公司的财务数据同样缺失，而财务因子往往是策略的核心输入。
复盘要点：每次回测前，先问三个问题——样本池是否包含已退市证券？代码是否做了历史映射？财务数据是否按公告日对齐？这三个问题能拦截大部分严重偏差。
本章作为导入，不要求你立刻掌握所有修复技术，但需要你建立两个基本意识：第一，任何缺失都可能是非随机的；第二，修复偏差必须回到历史时点。接下来的章节，将从退市清单的获取与解析开始，逐步带你搭建一套完整、可验证、可防御的数据处理流程。