VIP20

本课程属于：036-催收触达优化API限流熔断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

催收触达Spark数据处理详解

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

催收业务概述

催收行业背景 · 催收流程 · 催收数据特点

催收业务概述催收行业背景

Spark基础入门

Spark发展史 · Spark与Hadoop对比 · Spark核心组件

Spark基础入门

Spark环境搭建

Spark安装部署 · Spark配置 · Spark Shell使用

Spark环境搭建

RDD概念 · RDD创建方式 · RDD分区

RDD常用算子

map · filter · flatMap

RDD常用算子

RDD高级算子

groupByKey · reduceByKey · aggregateByKey

RDD高级算子

RDD持久化与Checkpoint

RDD缓存机制 · 持久化级别选择 · Checkpoint原理与使用

Spark SQL入门

DataFrame与DataSet概… · Spark SQL编程入口 · Catalyst优化器

DataFrame操作

创建DataFrame · Schema定义 · select

DataFrame操作

Spark SQL函数

内置函数 · UDF自定义函数 · UDAF聚合函数

催收数据ETL

数据源接入（MySQL/Hive/C… · 数据清洗 · 数据转换

ETL催收数据

催收数据建模

催收客户画像 · 逾期天数计算 · 催收评分卡特征工程

催收数据建模催收客户画像

Spark Streaming基础

DStream概念 · StreamingContext · 输入源

Structured Streaming

Event-Time处理 · Watermark机制 · 状态管理

StructuredStreaming

催收实时触达

实时催收事件流 · 实时规则引擎 · 实时推送策略

催收实时触达实时催收事件流

Spark MLlib基础

MLlib架构 · 特征提取 · 特征变换

催收评分卡模型

逻辑回归 · 决策树 · 随机森林

催收评分卡模型逻辑回归

催收策略引擎

规则引擎设计 · 策略配置 · 策略执行

催收策略引擎规则引擎设计

Spark性能调优

数据倾斜 · Shuffle优化 · 内存管理

Spark性能调优

Spark任务监控

Spark UI指标解读 · 日志分析 · 任务失败排查

Spark任务监控

催收数据仓库

数仓分层设计 · 维度建模 · 事实表设计

催收数据仓库数仓分层设计

催收数据质量

数据质量维度 · 数据校验规则 · 异常检测

催收数据质量数据质量维度

Spark与Hive集成

Spark on Hive · Hive表读写 · 分区表优化

Spark与Kafka集成

Kafka生产者消费者 · DirectStream · Exactly-Once语义

催收数据安全

数据脱敏 · 访问控制 · 审计日志

催收数据安全数据脱敏

Spark on Kubernetes

容器化部署 · 资源管理 · 弹性伸缩

催收数据可视化

Spark与Elasticsearc… · Kibana仪表盘 · 实时监控大屏

催收数据可视化Spark

催收A/B测试

实验设计 · 分流策略 · 效果评估

催收全链路压测

压测方案设计 · Spark任务压测 · 瓶颈分析

催收全链路压测压测方案设计

催收Spark实战案例

从数据接入到触达全流程 · 常见问题与解决方案 · 最佳实践总结