VIP20
本课程属于：089-信用评分模型特征流水线 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark处理信用评分特征全流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
信用评分业务概述
信用评分卡模型简介 · A卡/B卡/C卡区别 · 评分卡在金融风控中的价值
信用评分业务概述信用评分卡模型简…
02
Spark大数据环境搭建
Spark集群安装 · HDFS配置 · YARN资源调度
Spark大数据环境搭建
03
原始数据接入
读取CSV/Parquet/JSON… · Schema推断与自定义 · 数据分区策略
原始数据接入CSV/Parquet/…
04
数据质量初探
缺失值统计 · 异常值检测 · 重复记录处理
数据质量初探缺失值统计
05
EDA探索性分析
单变量分布 · 双变量交叉分析 · 相关性热力图
EDA探索性分析
06
特征工程总览
特征分类（数值/类别/时序） · 特征开发流程 · 特征存储与元数据管理
特征工程总览特征分类
07
缺失值处理策略
均值/中位数填充 · 众数填充 · 模型预测填充
缺失值处理策略均值
08
异常值处理
IQR规则 · Z-Score方法 · 分位数截断
异常值处理IQR
09
数值特征标准化
MinMaxScaler · StandardScaler · MaxAbsScaler
数值特征标准化MinMaxScaler
10
数值特征分箱
等距分箱 · 等频分箱 · 卡方分箱
数值特征分箱等距分箱
11
WOE与IV值计算
WOE编码原理 · IV值筛选特征 · Spark UDF实现WOE转换
WOEIV
12
类别特征编码
LabelEncoder · OneHotEncoder · TargetEncoder
类别特征编码LabelEncoder
13
时间特征衍生
年/月/日/周/季度提取 · 节假日标记 · 时间窗口聚合
时间特征衍生季度提取
14
聚合特征工程
groupBy + agg 统计量（… · 多粒度聚合（用户级/订单级）
聚合特征工程groupBy
15
滑动窗口特征
Spark Window函数 · 过去N天行为统计 · 滚动比率
滑动窗口特征Spark
16
交叉特征组合
笛卡尔积特征 · 多项式特征 · 业务规则交叉
交叉特征组合笛卡尔积特征
17
文本特征处理
分词 · TF-IDF · Word2Vec
文本特征处理分词
18
特征选择方法
方差过滤 · 卡方检验 · 互信息
特征选择方法方差过滤
19
特征重要性评估
随机森林特征重要性 · XGBoost特征重要性 · Permutation Import…
特征重要性评估随机森林特征重要…
20
特征降维
PCA主成分分析 · SVD奇异值分解 · Spark PCA实现
特征降维PCA
21
样本不平衡处理
过采样SMOTE · 欠采样 · 权重调整
样本不平衡处理SMOTE
22
时间序列特征
滞后特征 · 差分特征 · 移动平均
时间序列特征滞后特征
23
特征存储与版本管理
Parquet分区存储 · Feature Store概念 · Hive元数据
特征存储版本管理
24
Spark ML Pipeline构建
Transformer与Estima… · Pipeline stages · 交叉验证流水线
SparkML
25
模型训练与评估
逻辑回归 · 决策树 · 随机森林
模型训练评估
26
评分卡刻度转换
评分卡公式推导 · PD/ODDS转换 · 分数映射
评分卡刻度转换评分卡公式推导
27
特征监控与漂移检测
PSI群体稳定性指标 · 特征分布对比 · 实时监控告警
特征监控漂移检测
28
大规模特征工程优化
Spark调优（shuffle分区/… · 数据倾斜处理 · 内存管理
大规模特征工程优…Spark
29
生产环境部署
Spark Job调度 · Airflow编排 · 特征在线计算
生产环境部署Spark
30
全流程案例实战
从原始数据到评分卡上线 · 完整代码与架构复盘
全流程案例实战从原始数据到评分…