VIP20
本课程属于：020-风控数据质量标签口径校准 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

特征缺失与异常值处理案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
缺失值概述
缺失值的定义 · 产生原因（机械原因 · 人为原因）
缺失值概述缺失值的定义
02
缺失值检测
使用isnull() · isna() · info()
缺失值检测isnull
03
缺失值删除策略
dropna()参数详解（axis · how · thresh
缺失值删除策略dropna
04
缺失值填充基础
fillna()方法 · 固定值填充 · 前向填充ffill
缺失值填充基础fillna
05
均值/中位数/众数填充
数值型特征用均值或中位数填充 · 类别型特征用众数填充 · 适用条件与局限性
均值位数
06
KNN填充
利用K近邻算法根据样本相似度填充缺失… · KNNImputer的使用与参数调优
KNN填充
07
回归填充
将缺失特征作为目标变量 · 用其他完整特征建立回归模型预测缺失值… · 决策树回归）
回归填充将缺失特征作为目…
08
多重插补
MICE（链式方程多重插补）原理 · IterativeImputer的使… · 生成多个完整数据集并合并结果
多重插补MICE
09
插值法填充
线性插值 · 多项式插值 · 样条插值在时间序列缺失值中的应用
插值法填充线性插值
10
缺失值处理进阶
使用SimpleImputer统一填… · 自定义填充函数 · Pipeline中集成缺失值处理
缺失值处理进阶SimpleImpute…
11
异常值概述
异常值的定义 · 异常值类型（全局异常点 · 局部异常点
异常值概述异常值的定义
12
异常值检测——统计方法
Z-score方法 · 改进Z-score（MAD法） · 百分位数法（IQR规则）
异常值检测统计方法
13
异常值检测——箱线图法
箱线图原理（Q1 · Q3 · IQR
异常值检测箱线图法
14
异常值检测——3σ原则
正态分布假设下 · 均值±3倍标准差之外的值为异常值 · 适用条件与局限性
异常值检测3σ原则
15
异常值检测——聚类方法
DBSCAN聚类识别离群点 · K-means结合距离阈值检测异常
异常值检测聚类方法
16
异常值检测——孤立森林
Isolation Forest原理… · 路径长度） · sklearn中IsolationF…
异常值检测孤立森林
17
异常值检测——LOF算法
局部异常因子（Local Outli… · sklearn中LocalOutli…
LOF异常值检测
18
异常值检测——One-Class SVM
单类支持向量机原理 · 适用于高维数据异常检测 · sklearn中OneClassSV…
One-ClassSVM
19
异常值检测——可视化方法
散点图 · 分布图 · QQ图
异常值检测可视化方法
20
异常值处理——删除
直接删除异常样本 · 适用场景（数据量大 · 异常点少）
异常值处理删除
21
异常值处理——截尾/封顶
将异常值替换为边界值（如上下1%分位… · Winsorization方法详解
异常值处理截尾
22
异常值处理——视为缺失
将异常值标记为NaN · 然后使用缺失值处理方法填充
异常值处理视为缺失
23
异常值处理——离散化
将连续特征分箱（等宽 · 等频 · 聚类分箱）
异常值处理离散化
24
异常值处理——变换法
对数变换 · Box-Cox变换 · Yeo-Johnson变换压缩异常值…
异常值处理变换法
25
异常值处理——模型法
使用随机森林 · XGBoost等对异常值不敏感的模型 · 或使用Huber回归
异常值处理模型法
26
时间序列缺失值处理
时间序列缺失特点 · 重采样resample() · 时间插值
时间序列缺失值处…时间序列缺失特点
27
时间序列异常值检测
移动平均法 · 指数平滑法 · STL分解
时间序列异常值检…移动平均法
28
多变量缺失与异常联合处理
缺失与异常同时存在的场景 · 处理顺序（先异常后缺失或先缺失后异常…
多变量缺失异常联合处理
29
实战案例1——房价预测数据清洗
使用真实房价数据集 · 完整演示缺失值检测 · 异常值识别
实战案例1房价预测数据清洗
30
实战案例2——金融风控数据清洗
使用信贷违约数据集 · 处理高维特征中的缺失与异常 · 构建稳健的特征工程Pipeline
实战案例2金融风控数据清洗