1. 课程导论：坏样本归因的定义、业务价值与整体技术栈概览
1.1 什么是坏样本归因？
在机器学习建模与数据科学项目中，坏样本归因（Bad Sample Attribution）是指系统性地识别、定位并解释导致模型预测失效或业务指标恶化的异常样本及其根因的过程。它不仅仅是“找出错误预测”，而是深入到特征层面、数据分布层面与模型行为层面，回答三个核心问题：
- 哪些样本表现异常（高残差、高置信度错误、分布外漂移）？
- 哪些特征驱动了这些异常（特征贡献度、缺失模式、异常值）？
- 如何修复（特征工程、数据清洗、模型调优、阈值调整）？
核心公式视角： 坏样本归因可形式化为寻找使损失函数 L(y, ŷ) 在特定样本子集上显著升高的特征子空间 S，即 argminS Σi∈S L(yi, ŷi) + λ·|S|，其中 λ 控制归因的稀疏性。
1.2 业务价值：为什么必须做坏样本归因？
| 业务场景 | 坏样本表现 | 归因价值 |
|---|---|---|
| 信贷风控 | 高信用分用户逾期，低信用分用户正常 | 发现特征交叉失效，修正评分卡权重 |
| 推荐系统 | 热门内容点击率骤降，冷门内容异常高 | 定位用户群体偏移，调整召回策略 |
| 工业质检 | 良品被误判为缺陷，缺陷品被漏检 | 识别传感器噪声或光照条件变化，优化阈值 |
| 医疗诊断 | 模型对特定年龄段误诊率偏高 | 发现训练数据分布不均，补充样本或做分层校准 |
经验法则： 在模型上线后的前两周，80% 的精度下降问题可以通过坏样本归因定位到 3~5 个关键特征或数据源。越早做归因，修复成本越低。
1.3 整体技术栈概览
坏样本归因不是单一工具，而是一套从数据到模型再到业务反馈的闭环技术栈。本课程将覆盖以下六大核心模块：
- 数据质量层： 缺失率、异常值检测、重复样本、标签噪声识别（Isolation Forest、DBSCAN、标签翻转检测）。
- 特征分析层： 特征重要性（SHAP、Permutation Importance）、特征交互、分布漂移检测（PSI、KS 检验）。
- 模型诊断层： 残差分析、置信度校准、错误模式聚类、学习曲线与验证曲线。
- 归因推理层： 反事实解释（CFE）、Shapley 值、LIME、因果推断（DoWhy、CausalNex）。
- 调优修复层： 特征筛选（Boruta、RFECV）、样本加权、数据增强、模型集成与阈值优化。
- 监控与反馈层： 在线漂移检测（Drift Detection）、A/B 实验、归因报告自动化。
1.4 坏样本归因的典型工作流
在实际项目中，坏样本归因通常遵循以下 6 步迭代流程：
| 步骤 | 动作 | 关键产出 | 常用工具/方法 |
|---|---|---|---|
| 1 | 数据审计 | 数据质量报告、缺失/异常分布 | Pandas Profiling, Great Expectations |
| 2 | 基线建模 | 初始模型性能、残差分布 | LightGBM, XGBoost, Logistic Regression |
| 3 | 坏样本定位 | 高残差样本集、错误聚类结果 | 残差分析, K-Means, DBSCAN |
| 4 | 特征归因 | 特征重要性排序、Shapley 值矩阵 | SHAP, LIME, Permutation Importance |
| 5 | 根因验证 | 因果图、反事实验证结果 | DoWhy, CausalNex, A/B 测试 |
| 6 | 修复与监控 | 优化后模型、漂移监控看板 | 特征筛选, 样本加权, Evidently AI |
常见误区： 不要跳过步骤 4 直接调参。很多团队在发现坏样本后立即调整模型超参数或增加正则化，但根因往往是数据分布偏移或特征构造缺陷。先做特征归因，再做模型调优，效率可提升 3~5 倍。
1.5 课程实战案例预览
本课程将围绕一个信贷风控评分卡的真实案例展开。数据集包含 50 万条申请记录、120 维特征，目标变量为“是否逾期 30 天以上”。我们将经历以下关键节点：
- 第 2~4 章： 数据质量审计与特征工程——发现 12% 的样本存在标签翻转，3 个关键特征缺失率超过 40%。
- 第 5~8 章： 特征筛选与重要性分析——使用 SHAP 发现“近 3 个月查询次数”与“收入负债比”存在强交互效应，导致年轻群体误判。
- 第 9~12 章： 模型诊断与坏样本聚类——识别出 3 个高错误率子群：自由职业者、新开户用户、高额度低使用率用户。
- 第 13~16 章： 归因推理与反事实解释——对每个坏样本子群生成可解释的根因报告。
- 第 17~20 章： 特征筛选与模型调优——通过 Boruta 和 RFECV 将特征压缩至 28 维，AUC 从 0.78 提升至 0.86。
- 第 21~25 章： 样本加权与数据增强——对少数类坏样本做 SMOTE 和自适应加权，召回率提升 22%。
- 第 26~30 章： 监控体系与自动化归因报告——部署 Evidently AI 漂移检测，每周自动生成归因看板。
1.6 学习本课程的前置要求
- 编程基础： 熟练使用 Python（pandas, numpy, sklearn），了解基本的数据处理流程。
- 机器学习基础： 理解分类/回归、过拟合、交叉验证、AUC/ROC 等核心概念。
- 统计基础： 了解假设检验、分布、相关性分析的基本思想。
- 工具准备： Jupyter Notebook / VS Code, Python 3.8+, 建议安装 SHAP, LightGBM, Evidently AI 等库。
学习建议： 每章结束后，尝试将学到的归因方法应用到自己的项目数据中。坏样本归因是“做中学”的技能，只看不练很难内化。建议准备一个 1 万~10 万条记录的小数据集作为练习靶场。