VIP20

本课程属于：045-数据备份与灾备 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink流处理数据同步与灾备恢复

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink初识：流处理与批处理对比

核心特性、应用场景（实时数仓、数据同步）及架构概览，奠定流处理认知基础。

流批一体架构

环境搭建：本地模式与集群部署

涵盖Standalone、YARN部署方式，命令行与Web UI操作，快速构建Flink运行环境。

DataStream API基础

执行环境、数据源、转换算子、数据汇及程序骨架，掌握Flink核心编程模型。

Flink时间语义

Event Time、Processing Time、Watermark机制与乱序数据处理，精准控制时间维度。

时间语义Watermark

Flink窗口操作

滚动、滑动、会话窗口及ReduceFunction、AggregateFunction、ProcessWindowFunction实战。

Flink状态管理

Keyed/Operator State、状态后端（Memory/FS/RocksDB）、Checkpoint与Savepoint机制。

Flink容错机制

Exactly-Once语义、Checkpoint原理与配置、重启策略及端到端一致性保障。

容错一致性

Flink Table & SQL

Table API、SQL查询、动态表与连续查询，时间属性及窗口在SQL中的使用。

Flink CDC入门

CDC概念、Flink CDC Connector介绍、MySQL CDC实战及增量快照与断点续传。

Flink CDC高级

PostgreSQL/MongoDB/Oracle CDC，多表同步与Schema变更处理，应对复杂场景。

Flink Kafka Connector

Kafka Source/Sink、消息解析、Exactly-Once语义及动态分区发现，构建消息管道。

Flink JDBC Connector

JDBC Source/Sink、连接池配置、批量写入优化与事务支持，高效对接关系数据库。

Flink HDFS Connector

HDFS Sink、文件滚动策略、Parquet/ORC格式写入及分区写入，实现数据落湖。

HDFS文件格式

Flink Elasticsearch Connector

ES Sink配置、批量索引优化、错误处理与重试机制，加速实时搜索与分析。

Elasticsearch索引

Flink HBase Connector

HBase Sink、异步写入、WAL与缓存策略、RowKey设计，优化NoSQL写入性能。

Flink Redis Connector

Redis Sink、数据类型映射、连接池与超时配置，实现高速缓存写入。

Flink自定义Sink

实现RichSinkFunction、连接池管理、事务支持与幂等写入，扩展数据输出能力。

数据同步架构设计

全量+增量同步方案、双写一致性、延迟与吞吐量权衡，构建可靠同步体系。

实战：MySQL to Kafka

Binlog监听、数据格式转换、分区策略与监控告警，打通数据库与消息队列。

实战：Kafka to HDFS

实时落湖、小文件合并、分区与压缩策略，构建高效数据湖管道。

实战：MySQL to Elasticsearch

实时索引构建、主键冲突处理、批量写入调优，加速搜索与分析场景。

实战：多源汇聚

多表Join、维表关联（Async IO）、数据清洗与标准化，实现复杂数据融合。

性能调优（上）

并行度设置、Operator Chain、Task Slot配置与内存管理，提升作业效率。

性能调优（下）

反压检测、数据倾斜、网络缓冲区调优与GC优化，解决性能瓶颈。

监控与告警

Metrics系统、自定义Metric、Prometheus+Grafana集成及告警规则配置。

日志框架配置、日志级别动态调整、日志采集与分析，保障可观测性。

日志可观测

作业提交/停止、Savepoint管理、升级与状态迁移、版本兼容性实践。

运维Savepoint

数据同步最佳实践

Schema演进、数据质量监控、异常处理与重试、灰度发布，沉淀工程经验。

最佳实践质量

Flink与数据湖集成

Flink + Hudi/Iceberg/Delta Lake，CDC入湖与实时查询，构建湖仓一体。

数据同步案例实战

电商订单实时同步、用户行为采集、金融交易实时风控，全场景案例复盘。