VIP20
本课程属于：005-金融特征平台样本偏差校验 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark特征工程样本偏差校验教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
样本偏差概述
什么是样本偏差 · 为什么在特征工程中重要 · 偏差对模型的影响
样本偏差概述什么是样本偏差
02
Spark环境准备
Spark安装与配置 · SparkSession初始化 · 数据读取基础
Spark环境准备
03
数据探索基础
使用Spark DataFrame进… · describe() · show()
数据探索基础Spark
04
缺失值偏差
缺失值类型（MCAR · MAR · MNAR）
缺失值偏差MCAR
05
缺失值处理策略
删除策略（dropna） · 填充策略（fillna） · 均值/中位数/众数填充
缺失值处理策略dropna
06
异常值偏差
异常值定义 · Z-score方法检测异常值 · IQR方法检测异常值
异常值偏差异常值定义
07
异常值处理
截尾处理（winsorize） · 删除异常值 · 使用Spark SQL进行异常值过滤
异常值处理winsorize
08
类别不平衡偏差
二分类不平衡问题 · 多分类不平衡问题 · 不平衡比计算
类别不平衡偏差二分类不平衡问题
09
重采样技术
随机欠采样（RandomUnderS… · 随机过采样（RandomOverSa…
重采样技术RandomUnderS
10
SMOTE过采样
SMOTE原理 · 在Spark中实现SMOTE · 注意事项
SMOTE过采样
11
数据分布偏差
训练集与测试集分布不一致 · KS检验 · JS散度
数据分布偏差训练集
12
时间序列偏差
时间漂移 · 概念漂移 · Spark中时间窗口分析
时间序列偏差时间漂移
13
特征选择偏差
过滤式选择（卡方检验 · 互信息） · 包裹式选择（递归特征消除）
特征选择偏差过滤式选择
14
特征缩放偏差
标准化（StandardScaler… · 归一化（MinMaxScaler） · 鲁棒缩放（RobustScaler）
特征缩放偏差StandardScal…
15
编码偏差
独热编码（OneHotEncoder… · 标签编码（StringIndexer… · 目标编码（TargetEncoder…
编码偏差OneHotEncode…
16
数据泄露偏差
时间泄露 · 特征泄露 · Spark中防止数据泄露的策略
数据泄露偏差时间泄露
17
采样偏差
随机采样与分层采样 · Spark中sample()与sam…
采样偏差随机采样
18
分组偏差
groupBy操作中的偏差 · 聚合函数对偏差的影响
分组偏差groupBy
19
连接偏差
join操作中的偏差 · 广播连接与哈希连接的选择
连接偏差join
20
窗口函数偏差
窗口函数（row_number · rank · dense_rank）对数据分布的影…
窗口函数偏差row
21
特征重要性偏差
使用Spark MLlib的Rand…
特征重要性偏差Spark
22
相关性偏差
Pearson相关系数 · Spearman秩相关系数 · Spark中corr()函数
相关性偏差Pearson
23
多重共线性偏差
VIF（方差膨胀因子）计算 · Spark中检测共线性
多重共线性偏差VIF
24
数据倾斜偏差
键倾斜检测 · Spark中处理数据倾斜（salti…
数据倾斜偏差键倾斜检测
25
验证集偏差
交叉验证（CrossValidato… · 训练验证拆分（TrainValida…
验证集偏差CrossValidat…
26
超参数调优偏差
网格搜索（ParamGridBuil… · 随机搜索 · 贝叶斯优化
超参数调优偏差ParamGridBui…
27
模型评估偏差
准确率 · 精确率 · 召回率
模型评估偏差准确率
28
偏差可视化
使用Spark DataFrame与… · 分布图 · 箱线图
偏差可视化Spark
29
自动化偏差检测管道
构建Spark Pipeline · 集成偏差检测步骤 · 自动化报告生成
自动化偏差检测管…Spark
30
案例实战
端到端样本偏差校验流程 · 从数据加载到模型评估的完整示例
案例实战端到端样本偏差校…