1. 课程导论：缺失特征巡检的背景与重要性，LightGBM在缺失值处理中的优势
1.1 缺失特征巡检：数据质量的第一道防线
在工业级机器学习流水线中，缺失特征是最常见、也最具破坏力的数据质量问题之一。缺失值不仅会压缩有效样本量，更可能引入偏差、破坏特征分布、导致模型决策逻辑扭曲。因此，在建模前对缺失特征进行系统性巡检，是保障模型可靠性的关键前置步骤。
核心观点：缺失特征巡检不是简单的“查空值”，而是对缺失模式、缺失机制、缺失对下游模型影响的全面诊断。
1.2 缺失值的三种机制与业务影响
理解缺失值的产生机制，是选择处理策略的前提。根据统计学习理论，缺失机制可分为三类：
| 缺失机制 | 英文缩写 | 含义 | 典型场景 | 处理难度 |
|---|---|---|---|---|
| 完全随机缺失 | MCAR | 缺失与观测数据及未观测数据均无关 | 传感器偶发故障、随机录入遗漏 | 低 |
| 随机缺失 | MAR | 缺失依赖于其他已观测变量 | 高收入人群更倾向不填写收入字段 | 中 |
| 非随机缺失 | MNAR | 缺失依赖于缺失变量本身的值 | 病情严重者拒绝提供健康评分 | 高 |
巡检阶段的核心任务之一，就是通过统计检验和可视化手段，初步判断缺失机制，避免使用不恰当的填充方法引入系统性偏差。
1.3 缺失特征巡检的四大核心维度
一套完整的缺失特征巡检流程，应覆盖以下四个维度：
- 缺失率统计：计算每个特征的缺失比例，识别高缺失率特征（通常阈值设为 50% 或 80%）。
- 缺失模式分析：通过缺失矩阵、热力图或关联规则，发现特征间缺失的联合模式（如“A缺失时B也缺失”）。
- 缺失与目标变量关联：检验缺失样本与完整样本在目标变量分布上是否存在显著差异。
- 缺失对特征重要性的影响：评估缺失特征在模型中的潜在贡献，决定是删除、填充还是保留为独立分支。
1.4 传统缺失值处理方法的局限
在 LightGBM 普及之前，业界常用的缺失值处理方法包括：
- 删除法：直接删除含缺失值的样本或特征。缺点：样本量骤减，可能丢失重要信息。
- 均值/中位数填充：简单快速，但会扭曲特征分布，降低方差。
- 模型预测填充：用其他特征预测缺失值。缺点：计算成本高，可能引入模型偏差。
- 多重插补：统计上严谨，但实现复杂，不适合大规模数据。
注意：传统方法往往需要显式填充，且填充后的特征分布变化可能被下游模型放大，导致过拟合或泛化能力下降。
1.5 LightGBM 在缺失值处理中的核心优势
LightGBM 作为梯度提升决策树（GBDT）的高效实现，在缺失值处理方面具备原生优势，这也是本课程选择 LightGBM 作为核心工具的原因：
| 优势维度 | 具体表现 | 对巡检流程的影响 |
|---|---|---|
| 原生缺失值支持 | 无需显式填充，算法自动将缺失值分配到最优分支 | 减少预处理步骤，保留缺失的原始信息 |
| 缺失方向学习 | 在分裂时同时学习“走左/右子节点”的缺失方向 | 模型可自主判断缺失样本的归属模式 |
| 直方图算法 | 基于分箱的直方图加速分裂点搜索，缺失值单独处理 | 高缺失率特征仍能高效参与分裂 |
| 特征重要性可解释 | 提供 split / gain 两种重要性指标，可评估缺失特征贡献 | 辅助巡检决策：保留、删除或工程化 |
| 训练效率高 | 基于 leaf-wise 生长策略，支持并行和 GPU 加速 | 支持大规模缺失特征巡检的迭代实验 |
1.6 本课程的核心内容与学习路径
本课程将围绕“缺失特征巡检 → LightGBM 建模 → 效果评估与优化”这一主线展开，具体包括：
- 缺失特征巡检工具链：使用 Python 生态（pandas、missingno、sklearn）实现自动化巡检报告。
- LightGBM 缺失值原理深入：源码级解析缺失方向学习与直方图算法。
- 实战案例：在真实金融/工业数据集上，对比不同缺失处理策略的效果。
- 模型可解释性：利用 SHAP 和 LightGBM 内置重要性，解读缺失特征对预测的影响。
- 生产化部署：将巡检流程与 LightGBM 模型封装为可复用的流水线。
学习建议：本课程适合具备 Python 基础和基本机器学习概念的学员。建议在开始前准备好 pandas、lightgbm、matplotlib 等库环境，并准备一份含缺失值的真实数据集用于实践。