2. 数据探索性分析（EDA）：描述性统计、缺失值可视化、异常值检测、分布形态分析
数据探索性分析（Exploratory Data Analysis, EDA）是特征工程前的关键诊断环节。其核心目标是通过统计量与可视化手段，系统性地理解每个因子的质量、分布特征与潜在问题，为后续的缺失值填补、异常值截尾、分箱与编码策略提供数据驱动的决策依据。
2.1 描述性统计：快速掌握因子全貌
描述性统计通过计算集中趋势、离散程度与分布形状指标，对数值型与类别型因子进行量化概览。以下为数值型因子常用统计指标及其业务含义：
| 指标类别 | 常用指标 | 业务解读 |
|---|---|---|
| 集中趋势 | 均值、中位数、众数 | 判断数据中心位置；均值与中位数偏差大提示偏态分布 |
| 离散程度 | 标准差、方差、极差、IQR | 衡量因子波动性；IQR 常用于异常值阈值计算 |
| 分布形态 | 偏度、峰度 | 偏度 >0 右偏，<0 左偏；峰度 >3 尖峰厚尾 |
| 缺失与极值 | 缺失率、最小值、最大值、分位数 | 识别缺失严重程度与极端值范围 |
实操建议： 使用
df.describe(percentiles=[0.01, 0.05, 0.25, 0.5, 0.75, 0.95, 0.99]) 输出更精细的分位数，便于早期发现尾部极端值。
2.2 缺失值可视化：定位缺失模式
缺失值可视化不仅展示缺失比例，更重要的是揭示缺失是否随机（MCAR/MAR/MNAR）。推荐使用矩阵热图与条形图组合进行诊断。
缺失机制快速判断：
- MCAR（完全随机缺失）： 缺失与任何变量无关，可直接删除或简单填补。
- MAR（随机缺失）： 缺失依赖于其他观测变量，需用模型填补（如 KNN、MICE）。
- MNAR（非随机缺失）： 缺失与缺失值本身相关，处理难度最大，需结合业务假设。
2.3 异常值检测：统计与距离方法
异常值检测需结合业务规则与统计方法，避免误删有效信息。常用方法包括：
- IQR 法则： 定义下界 Q1 - 1.5×IQR，上界 Q3 + 1.5×IQR，超出即为异常。适用于近似对称分布。
- Z-Score 法： 假设正态分布，|Z| > 3 视为异常。对偏态分布需谨慎。
- 孤立森林（Isolation Forest）： 基于树模型，适合高维数据，不依赖分布假设。
- DBSCAN 聚类： 基于密度，将低密度区域点标记为噪声。
注意： 异常值不等于错误值。金融风控中的欺诈交易、工业传感器中的故障信号本身就是建模目标。建议先标记异常，再根据业务场景决定截尾、平滑或保留。
2.4 分布形态分析：偏度、峰度与可视化
分布形态直接影响分箱策略与模型选择。偏度与峰度是量化分布形状的核心指标，直方图与 Q-Q 图是直观验证工具。
2.5 EDA 输出清单与分箱前置决策
完成上述分析后，应输出以下诊断结果，作为分箱与特征工程的输入：
| 分析维度 | 输出内容 | 对分箱的影响 |
|---|---|---|
| 缺失模式 | 缺失率、缺失机制判断、缺失相关性热图 | 高缺失率因子需先填补再分箱，或单独设缺失箱 |
| 异常值 | 异常点索引、异常比例、异常值范围 | 异常值可单独成箱，或截尾后参与等频/等距分箱 |
| 分布形态 | 偏度值、峰度值、直方图、Q-Q 图 | 偏态严重因子优先选择分位数分箱或自定义分箱 |
| 离散程度 | 标准差、IQR、变异系数 | 离散度过大时增加箱数，过小时考虑合并或剔除 |
EDA 黄金原则： 先诊断，后处理。不要跳过 EDA 直接进入分箱或建模。一个扎实的 EDA 流程通常能避免 70% 以上的特征工程返工。