VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink流式元数据同步实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink与元数据同步概述

什么是元数据同步、为什么需要流式同步、Flink在其中的角色。

环境准备与项目搭建

Flink开发环境配置、Maven/Gradle项目初始化、依赖引入。

数据源连接器之MySQL CDC

MySQL Binlog原理、Flink MySQL CDC Connector配置与使用。

数据源连接器之PostgreSQL CDC

PostgreSQL逻辑复制原理、Flink PostgreSQL CDC Connector实战。

数据源连接器之Kafka

Kafka作为元数据变更事件总线、Flink Kafka Consumer/Producer配置。

元数据模型设计

统一元数据Schema定义、字段映射与类型转换策略。

Flink Table & SQL API基础

TableEnvironment创建、动态表概念、CDC数据注册为表。

Flink DataStream API基础

DataStream与Table互转、ProcessFunction处理变更事件。

状态后端与Checkpoint配置

状态存储选择（RocksDB/Filesystem）、Checkpoint策略与恢复。

元数据变更事件解析

INSERT/UPDATE/DELETE事件结构、Debezium格式解析。

多源元数据合并

多表/多库元数据Union、去重与版本管理。

元数据同步到Hive

Hive Catalog配置、Hive表自动创建与Schema演进。

元数据同步到HBase

HBase表结构映射、RowKey设计、批量写入优化。

元数据同步到Elasticsearch

ES索引映射、Flink Elasticsearch Sink配置、近实时搜索。

元数据同步到MySQL/PostgreSQL

目标库表结构自动维护、UPSERT语义实现。

关系库UPSERT

元数据同步到Kafka

将变更事件序列化后写入Kafka Topic、多消费者订阅。

Kafka事件总线

Schema Registry集成

Avro/Protobuf序列化、Confluent Schema Registry对接。

Schema序列化

元数据血缘追踪

基于Flink的元数据血缘采集、Atlas/DataHub集成方案。

元数据质量监控

数据完整性校验、延迟监控、异常事件告警。

Flink SQL CDC实战案例一

MySQL到Hive的实时元数据同步。

Flink SQL CDC实战案例二

PostgreSQL到Elasticsearch的元数据同步。

Flink DataStream实战案例三

多源CDC合并写入Kafka。

实战DataStream

Flink DataStream实战案例四

元数据变更历史存储到HBase。

实战DataStream

Flink DataStream实战案例五

基于CDC的实时数据血缘构建。

并行度设置、算子链优化、反压处理、内存调优。

容错与Exactly-Once语义

两阶段提交、幂等写入、事务性Sink。

容错Exactly-Once

Flink CDC 2.x/3.x新特性

增量快照、动态加表、无锁读取。

元数据同步平台架构设计

Flink Job管理、元数据存储层、API层设计。

生产环境部署与运维

YARN/K8s部署、日志监控、Job升级与Savepoint。

总结与最佳实践

常见坑点、架构选型建议、未来趋势（Flink + Iceberg/Paimon）。

总结最佳实践