VIP20

本课程属于：072-模型风险管理异常波动复盘 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark模型风险异常排查方法详解

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Spark模型风险概述

什么是模型风险 · 模型风险的主要来源（数据偏差 · 过拟合

Spark模型风险概述

Spark MLlib模型生命周期

模型训练 · 模型保存与加载 · 模型部署

数据质量异常排查

缺失值检测 · 异常值检测 · 数据分布偏移检测

数据质量异常排查缺失值检测

特征工程异常排查

特征缺失率过高 · 特征方差为零 · 特征相关性异常

特征工程异常排查特征缺失率过高

模型训练异常排查

训练失败原因分析（OOM · 数据倾斜 · 参数配置错误）

模型训练异常排查OOM

模型过拟合与欠拟合诊断

训练集与验证集指标对比 · 学习曲线分析 · 正则化效果评估

模型过拟合欠拟合诊断

模型性能指标异常

准确率/召回率/F1-score突变 · AUC/KS下降 · 损失函数不收敛

模型性能指标异常F1-score

模型稳定性分析

PSI（群体稳定性指标）计算与解读 · 特征分布漂移检测

模型稳定性分析PSI

模型偏差与公平性排查

分组性能差异分析 · 敏感属性影响检测 · 公平性指标计算

模型偏差公平性排查

Spark Streaming模型实时异常

实时数据延迟 · 窗口计算异常 · 状态后端故障排查

模型版本管理异常

模型版本冲突 · 模型元数据丢失 · 模型回滚失败处理

模型版本管理异常模型版本冲突

Spark模型部署异常

模型文件损坏 · 依赖库版本不兼容 · Spark与模型服务版本不匹配

Spark模型部署异常

模型推理异常

预测结果为空 · 预测结果全相同 · 预测耗时突增

模型推理异常预测结果为空

Spark Shuffle异常排查

Shuffle数据倾斜 · Shuffle磁盘溢出 · Shuffle文件丢失

Spark内存管理异常

堆内/堆外内存溢出 · 内存泄漏检测 · Spark内存参数调优

Spark内存管理异常

Spark任务调度异常

资源分配不均 · 任务长时间等待 · Executor丢失

Spark任务调度异常

模型特征重要性异常

特征重要性排序突变 · SHAP值异常 · 特征贡献度分析

模型特征重要性异…特征重要性排序突…

模型A/B测试异常

实验分组不均衡 · 指标波动过大 · 样本量不足检测

模型回测异常

回测时间窗口选择错误 · 回测数据泄露 · 回测结果与线上不一致

模型回测异常回测时间窗口选择…

Spark模型监控系统搭建

监控指标设计（数据质量 · 模型性能 · 资源消耗）

Spark模型监控系统搭建

模型日志异常分析

Spark日志级别设置 · 关键日志关键字提取 · 日志聚合分析

模型日志异常分析Spark

模型异常自动修复策略

自动回滚 · 模型降级 · 特征替代方案

模型异常自动修复…自动回滚

Spark模型安全异常

模型投毒检测 · 对抗样本检测 · 模型窃取防护

Spark模型安全异常

模型数据血缘异常

数据来源追溯 · 数据转换链路断裂 · 血缘关系图构建

模型数据血缘异常数据来源追溯

Spark模型超参数异常

超参数搜索失败 · 超参数过拟合 · 超参数敏感性分析

Spark模型超参数异常

模型集成异常

集成模型权重异常 · 基模型性能退化 · 集成效果不如单模型

模型集成异常集成模型权重异常

Spark模型与外部系统集成异常

Hive表读取失败 · Kafka数据源中断 · Redis缓存异常

模型冷启动异常

新模型无历史数据 · 初始预测偏差大 · 冷启动策略选择

模型冷启动异常新模型无历史数据

模型异常排查工具与平台

Spark UI · Ganglia · Prometheus+Grafana

模型异常排查工具平台

综合案例实战

从数据异常到模型性能下降的完整排查流…

综合案例实战从数据异常到模型…