VIP7

本课程属于：018-Flink实时数仓与流批平台工程 后端、数据与云原生工程 · 共 7 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时ETL链路Exactly Once实现

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink简介与Exactly Once概述

Flink是什么、实时ETL场景、Exactly Once语义定义、端到端一致性挑战。

Flink检查点机制

Checkpoint原理、Barrier对齐、State Backend、检查点配置与调优。

Flink端到端Exactly Once实现

两阶段提交协议、Kafka Sink的Exactly Once、JDBC Sink的Exactly Once。

高级一致性

Flink状态管理与容错

Keyed State与Operator State、状态后端对比、状态TTL、Savepoint与恢复。

Flink实时ETL链路实战

从Kafka读取、数据清洗与转换、写入Kafka/MySQL、端到端一致性验证。

Flink监控与运维

Metrics监控、Checkpoint监控、日志排查、常见问题与调优。

Flink高级特性与最佳实践

多流Join、维表关联、异步IO、反压处理、资源调优。

Flink CDC与实时数仓

CDC原理、Flink CDC Connector、实时数仓分层、数据湖集成。

Flink SQL与批流一体

Flink SQL基础、动态表、批流一体架构、Hive集成。

Flink性能优化与故障排查

内存调优、网络调优、序列化优化、常见故障与解决方案。

Flink部署模式

Session模式、Per-Job模式、Application模式、Kubernetes部署。

Flink高可用与安全

JobManager HA、TaskManager HA、安全认证、数据加密。

高可用安全

Flink与Kafka深度集成

Kafka Source/Sink配置、分区分配、Offset提交、Exactly Once保证。

Flink与Hive集成

Hive Catalog、Hive读写、Hive函数、批流一体实践。

Flink与Hudi集成

Hudi表类型、Flink写入Hudi、增量查询、数据湖实践。

Flink与Iceberg集成

Iceberg表格式、Flink写入Iceberg、时间旅行、数据湖实践。

Flink与Paimon集成

Paimon表类型、Flink写入Paimon、Changelog、数据湖实践。

Flink复杂事件处理

CEP模式匹配、时间窗口、事件序列、实战案例。

Flink机器学习

Flink ML库、特征工程、在线学习、模型部署。

Gelly图计算库、图算法、图存储、实战案例。

Flink Python API

PyFlink基础、DataStream API、Table API、UDF开发。

Flink与Elasticsearch集成

ES Sink配置、索引管理、批量写入、查询优化。

Flink与Redis集成

Redis Sink配置、数据结构、缓存策略、实战案例。

Flink与MongoDB集成

MongoDB Sink配置、文档模型、批量写入、实战案例。

Flink与ClickHouse集成

ClickHouse Sink配置、表引擎、批量写入、查询优化。

集成ClickHouse

Flink与Doris集成

Doris Sink配置、表模型、批量写入、查询优化。

Flink与HBase集成

HBase Sink配置、RowKey设计、批量写入、实战案例。

Flink与Pulsar集成

Pulsar Source/Sink配置、分区分配、消息确认、Exactly Once保证。

Flink与RocketMQ集成

RocketMQ Source/Sink配置、分区分配、消息确认、Exactly Once保证。

Flink实时ETL链路综合实战

从Kafka读取、多源Join、维表关联、写入多个Sink、端到端一致性验证、监控告警。