VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数仓ODS到DWD数据清洗与分层

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数仓架构概览

Lambda与Kappa架构对比，ODS、DWD、DWS、ADS分层职责与设计思路。

实时数据采集技术选型

Canal原理与部署、Debezium配置、Kafka Connect使用及对比。

采集CanalDebezium

Kafka核心概念

Topic、Partition、Consumer Group、Offset管理及消息可靠性保证。

消息队列Kafka

Flink基础入门

Flink架构、运行环境搭建、DataStream API初探与WordCount实战。

Flink时间语义与Watermark

Event Time、Processing Time、Ingestion Time，Watermark生成与传播机制。

时间语义Watermark

Flink状态管理与容错

Keyed State与Operator State、Checkpoint与Savepoint原理、Exactly-Once语义。

Flink CDC实战

Flink-CDC Connector原理，MySQL CDC到Kafka的实时同步实践。

实时数据接入规范、Kafka Topic命名、数据格式统一(JSON/Avro)及Schema Registry。

数据质量监控基础

数据完整性校验、空值检测、重复数据去重策略与监控体系。

数据清洗之字段过滤

无用字段剔除、敏感字段脱敏(手机号/身份证)、字段重命名技巧。

数据清洗之类型转换

字符串转时间戳、字符串转数值、复杂JSON解析(嵌套/数组展开)。

类型转换JSON

数据清洗之数据补全

维表关联(Redis/MySQL/HBase维表)、异步IO优化与缓存策略。

数据清洗之数据过滤

基于规则的脏数据过滤、异常值过滤、业务逻辑过滤实现。

过滤脏数据

数据清洗之数据标准化

枚举值映射、单位统一、时区转换、编码转换等标准化处理。

标准化映射

事实表与维度表设计原则、拉链表实现、缓慢变化维处理。

DWD维度建模

实时ETL之Join操作

Flink双流Join：Window Join、Interval Join、Regular Join详解。

实时ETL之聚合操作

Tumble/Hop/Session/Cumulate Window聚合实践与选型。

实时ETL之TopN实现

Over Aggregation、Top-N函数、去重计数(HyperLogLog)实战。

实时数据回溯

Kafka消息回溯消费、Flink Savepoint恢复、离线数据补录方案。

实时数仓性能调优

Flink并行度、Kafka分区数、背压处理、内存调优与参数优化。

实时数仓监控告警

Flink Metrics监控、Kafka Lag监控、自定义报警规则与集成。

实时数据测试策略

单元测试、集成测试、端到端测试、数据比对工具与质量门禁。

实时数仓数据治理

元数据管理、数据血缘追踪、数据生命周期管理实践。

实时数仓安全与权限

数据加密传输、访问控制、审计日志与安全合规。

电商实时数仓案例

订单实时清洗、用户行为实时分析、实时大屏展示。

金融实时数仓案例

交易流水实时风控、实时反欺诈、实时报表与预警。

物联网实时数仓案例

设备数据实时清洗、异常检测、实时预警与处理。

IoT异常检测

实时数仓与数据湖集成

Apache Iceberg/Flink集成、实时入湖、湖仓一体实践。

数据湖Iceberg

实时数仓未来趋势

流批一体、云原生实时数仓、AI for Data 前沿方向。

趋势云原生

课程总结与项目实战

从0到1搭建实时数仓，完整项目代码评审与复盘。