VIP20
本课程属于：029-贷后预警策略实时风险拦截 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

基于Spark的贷后预警实时计算教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与背景
贷后预警业务痛点 · 实时计算在风控中的价值 · Spark在金融领域的优势
课程导论背景
02
Spark核心概念速览
RDD · DataFrame · Dataset
Spark核心概念速览
03
开发环境搭建
JDK · Scala · Spark
开发环境搭建JDK
04
Spark Streaming基础
DStream · Receiver · 批次间隔
SparkStreaming
05
Structured Streaming入门
无界表 · 输出模式（Append/Comple… · Event-Time基础
StructuredStreaming
06
Kafka集成（上）
Kafka集群搭建 · Topic管理 · Producer/Consumer…
Kafka集成
07
Kafka集成（下）
Structured Streami… · offset管理 · Exactly-Once语义
Kafka集成
08
贷后预警数据模型设计
客户信息表 · 贷款流水表 · 逾期事件表
贷后预警数据模型…客户信息表
09
实时数据接入
模拟生成器开发 · Kafka生产者封装 · JSON/AVRO序列化
实时数据接入模拟生成器开发
10
预警规则引擎（上）
规则定义DSL · 规则解析器 · 条件组合（与/或/非）
预警规则引擎DSL
11
预警规则引擎（下）
规则热加载 · 规则版本管理 · 规则命中率统计
预警规则引擎规则热加载
12
窗口计算与聚合
滚动窗口 · 滑动窗口 · 会话窗口
窗口计算聚合
13
状态管理
mapGroupsWithState · flatMapGroupsWithS… · 超时处理
状态管理mapGroupsWit…
14
复杂事件处理（CEP）
Spark CEP模式定义 · 序列匹配 · 时间约束
CEP复杂事件处理
15
多流Join
Stream-Stream Join · Stream-Static Join · Interval Join
Join多流
16
预警分级与处置
红/橙/黄三级预警 · 处置动作（短信/工单/冻结） · 处置闭环
预警分级处置
17
实时特征工程
滚动统计特征（均值/最大/最小） · 比率特征 · 趋势特征
实时特征工程滚动统计特征
18
机器学习模型集成
Spark MLlib加载预训练模型 · PMML/ONNX模型部署 · 实时评分
机器学习模型集成Spark
19
性能调优（上）
并行度 · 分区优化 · 序列化（Kryo）
性能调优并行度
20
性能调优（下）
背压机制 · 数据倾斜处理 · 推测执行
性能调优背压机制
21
监控与告警
Spark UI指标 · Prometheus+Grafana… · 任务失败自动告警
监控告警
22
数据质量监控
空值检测 · 延迟检测 · 重复数据去重
数据质量监控空值检测
23
容错与高可用
Checkpoint机制 · WAL · Driver HA
容错高可用
24
实时数仓分层
ODS/DWD/DWS/ADS · 分层设计原则 · 贷后预警数仓模型
实时数仓分层ODS/DWD/DWS/…
25
实时ETL开发
数据清洗 · 字段补全 · 维度拉宽
ETL实时
26
预警结果存储
Redis缓存命中 · MySQL/PostgreSQL持久… · Elasticsearch全文检索
预警结果存储Redis
27
预警大屏可视化
WebSocket推送 · ECharts实时图表 · 预警地图
预警大屏可视化WebSocket
28
全链路压测
数据模拟 · 压力测试工具 · 吞吐量/延迟指标
全链路压测数据模拟
29
生产环境部署
Spark on YARN/Kube… · 日志收集 · 灰度发布
生产环境部署Spark
30
课程总结与实战案例
端到端贷后预警系统演示 · 常见问题FAQ · 学习路径推荐
课程总结实战案例