1. 课程导入
在金融数据分析的完整链路中，数据清洗往往占据从业者60%以上的时间，而缺失值与异常值处理正是其中最高频、最影响结论可靠性的环节。无论是量化投研中的行情因子构建、风控建模中的客户特征工程，还是财务报表分析中的指标计算，原始数据几乎不可能"开箱即用"。本课程的目标，是帮助学习者建立一套可复用、可解释、可落地的金融数据缺失值与异常值处理方法论，而不是停留在零散技巧的堆砌。
一、学习目标：从"会处理"到"懂判断"
本课程围绕三个层次设定学习目标。第一层是认知层：理解缺失值与异常值在金融场景中的成因、类型与业务含义，能够区分"随机缺失"与"信息性缺失"。第二层是方法层：掌握删除、统计填充、模型填充、插值、分箱、截断、变换、稳健统计等主流技术，并理解其适用边界。第三层是决策层：能够根据数据分布、业务逻辑与下游模型需求，选择并组合处理策略，同时评估处理带来的偏差与信息损失。
二、核心概念：缺失机制与异常类型
缺失值处理的理论基础是缺失机制。统计学将缺失分为三类：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。在金融场景中，MNAR尤为常见——例如高净值客户更倾向于不披露收入，或业绩差的公司更可能延迟披露财报。若忽略缺失机制直接删除或均值填充，会引入系统性偏差。
异常值同样需要分类对待。从成因看，可分为错误型异常（如录入错误、单位错误、小数点错位）、真实极端值（如金融危机期间的收益率、黑天鹅事件）和结构性异常（如政策变更、并购重组导致的指标跳变）。从检测视角看，又可分为单变量异常与多变量异常。金融数据中，多变量异常往往更具业务价值，例如"收入正常但负债异常高"的组合。
三、方法流程：从诊断到验证的闭环
处理缺失值与异常值不是一次性动作，而是一个闭环流程。建议遵循以下步骤：
- 数据画像：统计缺失率、异常比例、字段分布、时间覆盖度，形成数据质量报告。
- 业务归因：与业务方确认缺失和异常的来源，判断是技术问题还是业务真实状态。
- 策略设计：按字段类型、缺失机制、下游用途选择处理方式，并记录处理规则。
- 执行与留痕：保留原始字段、处理标记和参数，确保可复现、可审计。
- 效果验证：对比处理前后的分布、相关性和模型指标，评估偏差与收益。
is_imputed、is_outlier 等标记字段。
四、实战价值与典型场景
缺失值与异常值处理的质量，直接决定下游应用的可靠性。在量化投研中，未处理的异常收益率会污染因子暴露，导致回测虚高；在信用风控中，缺失的收入字段若简单填零，会系统性高估违约风险；在财务报表分析中，未识别的单位错误可能让ROE从15%变成1500%。
| 业务场景 | 常见问题 | 推荐策略 | 风险提示 |
|---|---|---|---|
| 股票行情因子 | 停牌导致价格缺失、涨跌停导致极端值 | 前向填充 + 缩尾处理 | 前向填充会低估波动率 |
| 信用评分建模 | 收入、负债字段缺失率高 | 缺失指示变量 + 模型填充 | MNAR缺失会引入选择偏差 |
| 财务报表分析 | 单位错误、小数点错位 | 业务规则校验 + 人工复核 | 自动截断可能掩盖真实问题 |
| 交易反欺诈 | 金额、频次多变量异常 | 孤立森林 + 业务阈值 | 误杀正常大额交易 |
五、常见误区与复盘要点
初学者最容易陷入的误区包括：一是"见缺失就删"，忽视缺失背后的业务信息；二是"见异常就删"，把真实极端值当作错误处理，导致模型对风险事件失去感知；三是"填充后不验证"，用均值填充后直接建模，未检查分布畸变；四是"处理不留痕"，导致结果无法复现、无法审计。