VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse 存储风控历史数据

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

风控数据概述

什么是风控数据、风控数据的生命周期、为什么需要Lakehouse。

基础生命周期

Lakehouse架构基础

数据湖与数据仓库的区别、Lakehouse核心组件、Delta Lake简介。

架构Delta Lake

历史数据存储策略

分区策略设计、数据保留周期、冷热数据分层。

数据摄入与采集

实时流式接入（Kafka）、批量导入（Sqoop/Spark）、数据校验机制。

数据建模与Schema设计

宽表与星型模型选择、Schema Evolution、时间序列建模。

数据质量与治理

数据完整性检查、去重策略、血缘追踪（Data Lineage）。

查询性能优化

Z-Order索引、文件大小优化、数据跳过（Data Skipping）。

安全与权限控制

数据加密（静态/传输）、细粒度访问控制（RBAC/ABAC）、审计日志。

存储格式选择（Parquet/ORC）、压缩算法、生命周期管理（自动清理）。

监控与告警

作业监控（Spark UI）、数据延迟告警、存储使用量监控。

数据回滚与时间旅行

Delta Lake时间旅行、数据恢复场景、版本管理。

时间旅行回滚

实时风控场景

毫秒级特征计算、滑动窗口聚合、规则引擎集成。

实时规则引擎

批量风控场景

T+1报表生成、历史回溯分析、模型训练数据准备。

数据一致性保障

ACID事务、并发控制（乐观锁）、Exactly-Once语义。

数据导出与共享

导出到外部系统（Hive/MySQL）、数据湖共享（Delta Sharing）。

灾难恢复与高可用

跨区域复制、备份策略、故障切换演练。

高可用灾备

性能调优实战

Spark Shuffle优化、内存调优、动态资源分配。

数据湖仓一体化

与Hive Metastore集成、Spark SQL与Presto/Trino对比。

湖仓一体查询

机器学习特征存储

特征工程、特征服务、在线/离线一致性。

合规与监管

GDPR数据删除、数据保留策略、审计合规报告。

元数据管理

Apache Atlas集成、数据目录、标签管理。

数据管道编排

Apache Airflow DAG设计、任务依赖、重试机制。

测试与验证

单元测试（Spark测试框架）、集成测试、数据比对工具。

版本升级与迁移

Delta Lake版本升级、Spark版本兼容、数据迁移方案。

多租户支持

资源隔离、命名空间管理、配额控制。

多租户隔离

数据可视化

Superset集成、预聚合表设计、仪表盘性能优化。

可视化Superset

异常检测与告警

基于统计的异常检测、规则引擎、自动修复流程。

异常检测自动修复

数据归档与清理

归档策略、清理作业设计、存储成本分析。

某金融公司风控历史数据迁移全流程。

Serverless Lakehouse、AI驱动的数据治理、实时湖仓一体。

趋势Serverless