VIP20
本课程属于：071-金融特征缺失巡检 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融特征Spark SQL特征缺失巡检从入门到实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
金融特征概述
金融特征的定义 · 常见金融特征类型（交易 · 风控
金融特征概述金融特征的定义
02
特征缺失问题
缺失值的定义 · 金融场景中缺失值的来源（数据采集失败 · 传输延迟
特征缺失问题缺失值的定义
03
Spark SQL基础回顾
DataFrame与Dataset概… · Spark SQL执行流程 · Catalyst优化器简介
SparkSQL
04
Spark SQL环境搭建
本地模式与集群模式配置 · SparkSession初始化 · 读取金融数据源（CSV/Parque…
SparkSQL
05
金融数据加载实战
使用Spark SQL加载用户交易表 · 风控规则表 · 特征宽表
金融数据加载实战Spark
06
缺失值检测基础
COUNT · SUM · IS NULL函数的使用
缺失值检测基础COUNT
07
单表缺失巡检SQL
编写SQL统计单张特征表每列缺失率 · 输出缺失率排名
SQL单表缺失巡检
08
多表关联缺失分析
LEFT JOIN后检测关联键缺失 · 识别外键断裂导致的特征缺失
多表关联缺失分析LEFT
09
时间窗口缺失巡检
基于时间分区（天/小时）统计特征缺失… · 识别周期性缺失
时间窗口缺失巡检基于时间分区
10
分组缺失统计
使用GROUP BY按用户ID · 产品ID分组 · 计算每组特征缺失率
分组缺失统计GROUP
11
条件缺失检测
结合WHERE条件 · 检测特定业务场景下（如高价值用户）的…
条件缺失检测WHERE
12
缺失模式识别
使用CASE WHEN组合多个字段 · 识别全缺失 · 部分缺失
缺失模式识别CASE
13
特征完整性评分
设计SQL计算每行特征完整性得分 · 输出低分样本清单
特征完整性评分SQL
14
缺失阈值告警
编写SQL判断当某特征缺失率超过阈值… · 输出告警记录
缺失阈值告警SQL
15
历史对比巡检
对比当前周期与上一周期特征缺失率变化 · 输出恶化特征列表
历史对比巡检对比当前周期
16
分区表巡检优化
针对Hive分区表 · 使用SHOW PARTITIONS与…
分区表巡检优化Hive
17
性能调优
数据倾斜处理 · 广播变量 · AQE（自适应查询执行）在缺失巡检中…
性能调优数据倾斜处理
18
巡检结果持久化
将巡检结果写入Hive表或MySQL · 支持历史回溯与可视化
巡检结果持久化Hive
19
自动化巡检脚本
使用Shell脚本调度Spark S… · 实现每日定时特征缺失巡检
自动化巡检脚本Shell
20
巡检报告生成
使用Spark SQL聚合结果 · 生成JSON/CSV格式的缺失报告
巡检报告生成Spark
21
缺失原因溯源
结合数据血缘 · 定位缺失数据的上游来源（源系统 · ETL环节）
缺失原因溯源结合数据血缘
22
缺失值填充策略
均值填充 · 中位数填充 · 前向填充
缺失值填充策略均值填充
23
填充效果评估
对比填充前后特征分布变化 · 使用KS检验或均值差异评估填充质量
填充效果评估对比填充前后特征…
24
特征工程中的缺失处理
在特征加工SQL中嵌入缺失处理逻辑 · 避免下游模型报错
特征工程缺失处理
25
实时缺失巡检
使用Structured Strea…
实时缺失巡检Structured
26
监控看板集成
将巡检结果对接Grafana或Sup… · 实现可视化监控
监控看板集成Grafana
27
案例实战一
信用卡交易特征缺失巡检 · 从加载到报告全流程
案例实战一信用卡交易特征缺…
28
案例实战二
风控评分卡特征缺失巡检 · 包含多表关联与时间窗口
案例实战二风控评分卡特征缺…
29
案例实战三
用户画像特征缺失巡检 · 包含分组统计与历史对比
案例实战三用户画像特征缺失…
30
总结与最佳实践
金融特征缺失巡检的常见陷阱 · 优化建议 · 未来展望
最佳实践金融特征缺失巡检…