VIP20
本课程属于：077-组合风险归因稳定性巡检 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark归因稳定性巡检从入门到实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
归因分析基础
归因分析的定义 · 常见归因模型（末次点击 · 线性衰减
归因分析基础归因分析的定义
02
Spark归因计算原理
Spark RDD/DataFram… · MapReduce思想在归因中的体现 · Shuffle与数据倾斜的根源
Spark归因计算原理
03
归因稳定性概念
什么是归因稳定性 · 稳定性差的典型表现（结果波动大 · 不可复现）
归因稳定性概念什么是归因稳定性
04
巡检体系总览
归因稳定性巡检的目标 · 巡检的四大维度（数据源 · 计算逻辑
巡检体系总览归因稳定性巡检的…
05
数据源巡检
上游表数据质量检查（空值 · 重复 · 延迟）
数据源巡检上游表数据质量检…
06
计算逻辑巡检
归因SQL/代码的静态分析 · 常见逻辑错误（窗口函数边界 · Join条件遗漏）
计算逻辑巡检SQL
07
环境巡检
Spark资源参数（executor… · 并行度）对稳定性的影响 · Yarn队列资源争抢
环境巡检Spark
08
结果校验巡检
历史结果对比（环比/同比） · 分布一致性检验（KS检验 · PSI）
结果校验巡检历史结果对比
09
数据倾斜检测
倾斜的识别方法（Key分布统计 · Stage耗时分析） · 倾斜对归因结果的扭曲
数据倾斜检测Key
10
数据倾斜解决方案
Salting技术 · 广播Join · 两阶段聚合
数据倾斜解决方案Salting
11
归因结果复现性
确定性计算与不确定性计算（随机数 · 采样） · 设置Spark随机种子
归因结果复现性确定性计算
12
归因结果一致性
不同计算引擎（Hive vs Spa… · 不同版本Spark结果对比 · 跨环境（开发/生产）一致性
归因结果一致性Hive
13
归因延迟监控
数据到达延迟 · 计算任务延迟 · 结果产出延迟的监控指标
归因延迟监控数据到达延迟
14
归因数据质量监控
归因结果表的完整性（行数 · 列数） · 准确性（抽样人工校验）
归因数据质量监控归因结果表的完整…
15
归因稳定性巡检工具选型
开源工具（Apache Griffi… · Deequ）介绍 · 自研巡检框架设计思路
归因稳定性巡检工…Apache
16
基于Deequ的归因质量检查
Deequ的Anlyzer与Cons… · 编写归因结果约束（行数范围 · 最大值
Deequ基于
17
归因稳定性巡检Dashboard
巡检指标可视化（趋势图 · 热力图） · 异常事件时间线
Dashboard归因稳定性巡检
18
归因稳定性巡检告警体系
告警级别定义（P0/P1/P2） · 告警渠道（邮件 · 钉钉
归因稳定性巡检告…P0/P1/P2
19
归因稳定性巡检Case Study 1
某电商归因结果日环比波动超过50%的…
CaseStudy
20
归因稳定性巡检Case Study 2
归因结果因数据源Schema变更导致…
CaseStudy
21
归因稳定性巡检Case Study 3
Spark动态资源分配导致归因结果不…
CaseStudy
22
归因稳定性巡检Case Study 4
数据倾斜导致归因任务OOM的优化与稳…
CaseStudy
23
归因稳定性巡检Case Study 5
多环境（开发/测试/生产）归因结果不…
CaseStudy
24
归因稳定性巡检自动化Pipeline
基于Airflow的巡检DAG设计 · 巡检任务依赖管理 · 失败重试与补偿机制
Pipeline归因稳定性巡检自…
25
归因稳定性巡检最佳实践
巡检配置管理（YAML/JSON） · 巡检结果存储（Hive/ES） · 巡检元数据管理
归因稳定性巡检最…YAML/JSON
26
归因稳定性巡检与数据治理
巡检结果纳入数据资产目录 · 稳定性评分卡 · 与数据SLA联动
归因稳定性巡检数据治理
27
归因稳定性巡检进阶
实时归因稳定性巡检（Spark St… · 增量归因结果校验 · 机器学习辅助异常检测
归因稳定性巡检进…Spark
28
归因稳定性巡检团队协作
巡检职责划分（数据开发 · 数据产品 · 数据质量）
归因稳定性巡检团…巡检职责划分
29
归因稳定性巡检未来趋势
AI驱动的智能巡检 · 归因结果可解释性 · 联邦学习场景下的归因稳定性
归因稳定性巡检未…AI
30
课程总结与实战演练
搭建一个完整的归因稳定性巡检Demo · 从0到1编写巡检脚本 · 生成巡检报告并解读
课程总结实战演练