VIP20

本课程属于：037-数据平台成本优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体实现资源复用降本

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

什么是流批一体、为什么需要流批一体、核心价值：资源复用与降本增效。

Lambda架构与Kappa架构

Lambda痛点（两套代码、口径不一致）、Kappa演进、流批一体架构选型对比。

Flink核心概念

DataStream API与Table API、事件时间与处理时间、Watermark机制、状态后端。

基础时间语义

Flink SQL 流批一体

动态表、连续查询、流表对偶性，SQL层面统一流批处理。

Flink SQL 实战

实时ETL、离线批处理、同一套SQL在流批两种模式下的运行。

Flink 状态管理与资源复用

Keyed State与Operator State、状态TTL、RocksDB vs Heap、状态复用策略。

Flink 资源调度与弹性伸缩

Task Slot与并行度、动态资源分配、基于Kubernetes弹性伸缩、资源复用案例。

Flink 容错机制与Exactly-Once

Checkpoint与Savepoint、端到端Exactly-Once、两阶段提交、故障恢复与资源复用。

容错一致性

Flink 与 Hive 集成

Flink读写Hive表、Hive Catalog、流式写入Hive的挑战与解决方案。

Flink 与 Kafka 集成

Kafka作为流批一体存储、Source与Sink、Offset管理、Exactly-Once保证。

Flink 与 Iceberg 集成

Iceberg表格式、Flink写入、流读与批读、Compaction与资源复用。

Iceberg数据湖

Flink 与 Hudi 集成

Hudi表类型（COW/MOR）、Flink写入、增量查询、Clustering与资源复用。

Flink 与 ClickHouse 集成

实时写入、批量导入、物化视图与资源复用。

Flink CDC 实时同步

CDC原理、Flink CDC Connector、全量+增量同步、Schema Evolution与资源复用。

Flink 批处理优化

批处理算子优化、内存管理、Shuffle优化、流批资源复用。

批处理性能

Flink 流处理优化

反压机制、算子链与资源复用、异步IO、缓存策略。

流处理调优

Flink 多流Join

Window Join、Interval Join、Regular Join、Temporal Join、状态复用。

Flink 复杂事件处理（CEP）

CEP模式定义、状态复用、实时风控应用。

Flink 机器学习

Flink ML Pipeline、在线学习与离线训练资源复用、模型服务。

Flink 图计算

Gelly图计算框架、图算法与流批一体、图计算状态复用。

Flink 监控与告警

Metrics系统、自定义Metrics、Prometheus+Grafana、告警规则与资源复用。

Flink 日志采集与分析

日志框架、结构化、日志聚合与资源复用、故障定位。

日志可观测

Flink 安全与权限控制

Kerberos认证、RBAC权限模型、数据脱敏、安全审计与资源复用。

Flink 多租户与资源隔离

多租户架构、CPU/Memory/Network隔离、租户级资源复用。

多租户隔离

Flink 数据湖架构实战

基于Flink+Iceberg/Hudi构建实时数据湖、流批一体查询、治理与资源复用。

数据湖实战

Flink 实时数仓架构实战

基于Flink构建实时数仓、分层设计（ODS/DWD/DWS/ADS）、资源复用与降本。

实时数仓分层

Flink 离线数仓架构实战

替代Spark/Hive构建离线数仓、流批一体改造、离线资源复用。

离线数仓改造

Flink 混合云部署

Flink on Kubernetes/YARN、混合云资源调度、跨云资源复用与成本优化。

混合云部署

Flink 性能调优实战

内存、网络、算子、状态调优，资源复用调优案例。

流批一体未来展望

技术趋势、Serverless Flink、AI与流批一体、资源复用终极形态。