VIP20

本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构的实时离线融合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流计算与批处理的发展历程 · Lambda与Kappa架构对比 · 流批一体的核心价值

数据源与采集

Kafka核心概念与架构 · 生产者/消费者API · Kafka Connect与CDC · Flume vs Logstash

实时计算引擎

Apache Flink核心概念 · DataStream API · Table & SQL API · 状态管理与容错

批处理引擎

Apache Spark核心概念 · RDD与DataFrame · Spark SQL与Hive集成 · 性能调优

流批统一存储

Apache Iceberg表格式 · ACID事务与时间旅行 · Hudi与Delta Lake对比 · Kafka集成

Iceberg湖存储

Flink SQL 实时数仓

Flink SQL语法与DDL · 维表Join与窗口聚合 · Hive Catalog集成 · 实时ETL实战

Flink SQL数仓

Spark Structured Streaming

核心模型 · 流式DataFrame与Dataset · 事件时间与水位线 · 流批统一查询

Structured Streaming流批

数据湖架构

Lakehouse理念 · Iceberg在数据湖中的角色 · Flink/Spark读写Iceberg · 增量处理

Lakehouse增量

实时离线融合方案

Flink实时写入Iceberg · Spark批处理读取 · 流批数据一致性 · Exactly-Once语义

融合一致性

状态后端与Checkpoint

RocksDB/Heap状态后端 · Checkpoint与Savepoint · 状态迁移与扩缩容 · 性能调优

Watermark与窗口

事件时间与处理时间 · Watermark生成策略 · 滚动/滑动/会话窗口 · 迟到数据处理

窗口时间语义

Flink双流Join · 维表Join(AsyncIO/LookupJoin) · Interval Join · Temporal Join

容错与一致性

端到端Exactly-Once · 两阶段提交 · Kafka事务与幂等性 · Flink与Kafka集成

Exactly-Once事务

资源管理与调度

YARN与Kubernetes部署 · Flink on K8s · 动态资源分配 · Task Slot与并行度

监控与告警

Flink Metrics体系 · Prometheus+Grafana · Web UI深度解读 · 性能瓶颈分析

监控可观测

数据集成工具

Apache SeaTunnel架构 · 多源接入 · Flink/Spark集成 · CDC数据入湖实战

实时特征工程

Flink实时特征计算 · 特征存储(Redis/HBase) · 时间对齐 · 在线/离线特征一致性

实时数仓分层

ODS/DWD/DWS/ADS设计 · 实时维度建模 · Flink SQL构建数仓 · 数据质量监控

批处理优化

Spark SQL优化器(CBO/RBO) · 数据倾斜处理 · Shuffle优化 · AQE自适应查询

流批一体测试

单元测试(Flink MiniCluster) · 集成测试(Testcontainers) · 数据比对 · 回放与压力测试

元数据管理(Atlas/DataHub) · 数据血缘追踪 · 质量规则引擎 · 生命周期管理

安全与权限

Kerberos认证 · Ranger权限控制 · 数据脱敏与加密 · 审计日志

多集群管理

跨机房数据同步 · Flink/Spark多集群联邦 · 统一调度平台 · 资源隔离与配额

多集群联邦

ClickHouse与Doris对比 · Flink写入ClickHouse · 物化视图与预聚合 · 实时大屏技术

机器学习集成

Flink ML Pipeline · 实时模型推理 · 特征平台与模型服务 · 在线学习架构

云原生流批一体

AWS Kinesis/EMR · 阿里云Flink/EMR · 腾讯云Oceanus · 存算分离

云原生存算分离

案例：实时用户画像

用户行为采集 · 实时标签计算 · 用户分群与圈选 · 画像服务架构

案例：实时风控系统

事件规则引擎 · 实时特征计算 · 模型推理与决策 · 毫秒级响应架构

风控毫秒级

案例：实时数据同步

MySQL Binlog实时同步 · 全量+增量一致性 · Schema Evolution · 延迟监控

总结与展望

流批一体技术趋势 · 数据湖2.0与流式湖仓 · AI for Data · 未来架构演进