VIP20

本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构核心设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流计算与批处理的历史演变，Lambda架构的痛点，Kappa架构的兴起，流批一体的核心价值。

演进架构对比

核心概念与设计哲学

统一数据模型（Row/Table）、统一计算引擎（SQL/DataStream）、事件时间与处理时间、一致性语义（Exactly-Once）。

数据模型一致性

Flink Runtime核心

JobManager与TaskManager架构、Task Slot与并行度、数据交换策略（Pipelined/Batch）、状态后端与容错机制。

运行时容错

Table API & SQL 统一层

动态表（Dynamic Table）概念、流-表转换（Append/Retract/Upsert）、CDC数据接入、维表Join与异步IO。

批模式与流模式切换

Flink的批模式（Batch Execution Mode）、自适应调度器、算子链优化、Shuffle机制对比（Blocking/Pipelined）。

执行模式Shuffle

状态管理与容错

Keyed State与Operator State、状态后端（RocksDB/Heap）、Checkpoint与Savepoint、状态TTL与增量快照。

状态后端Checkpoint

Watermark与时间语义

事件时间与水位线生成、空闲分区处理、迟到数据策略（Side Output）、多流Watermark对齐。

水位线迟到数据

连接器生态

Kafka Source/Sink 流批一体、FileSystem Connector（Parquet/ORC）、JDBC Connector、Hive Catalog集成。

Tumble/Hop/Session窗口、窗口表值函数（TVF）、Top-N与Deduplication、Cumulate窗口实战。

Temporal Table Join、Lookup Join、维表缓存策略（LRU/ALL）、异步IO优化。

Regular Join、Interval Join、Window Join、版本表Join（Versioned Table）。

双流版本表

复杂事件处理（CEP）

Pattern API、严格近邻与宽松近邻、超时与跳过策略、CEP与SQL MATCH_RECOGNIZE。

CEP模式匹配

数据湖集成

Apache Iceberg流批一体读写、Hudi Merge-On-Read、Delta Lake Change Data Feed、CDC入湖最佳实践。

数据湖Iceberg

实时数仓分层

ODS/DWD/DWS/ADS分层设计、实时ETL与数据清洗、宽表构建与维度退化、OLAP查询加速。

资源管理与部署

YARN/K8s/Mesos部署模式、动态资源分配、TaskManager内存模型、网络与IO调优。

监控与告警

Flink Web UI深度解读、Metrics Reporter（Prometheus/Grafana）、作业稳定性治理、反压检测与定位。

SQL开发最佳实践

SQL Client与Gateway、Catalogs与Schemas管理、UDF/UDAF/UDTF开发、SQL性能调优。

DataStream API进阶

ProcessFunction与Timer、多流操作（Connect/Union/CoGroup）、异步IO与外部系统交互、状态访问模式。

DataStreamTimer

端到端一致性

两阶段提交协议（2PC）、Kafka事务写入、HBase幂等写入、端到端Exactly-Once实现方案。

Exactly-Once2PC

大规模作业调优

数据倾斜处理、Join优化（Broadcast/Bucket）、MiniBatch与LocalGlobal聚合、算子链与资源配比。

调优数据倾斜

流批一体测试

单元测试（TestHarness）、集成测试（MiniCluster）、数据回放与比对、混沌工程与故障注入。

测试混沌工程

安全与权限

Kerberos认证、SQL权限控制（RBAC）、数据脱敏与审计、加密传输与存储。

多集群联邦

Flink CDC多源合并、跨集群状态迁移、元数据同步、统一网关设计。

AI与流计算结合

实时特征工程、模型在线推理、Flink ML Pipeline、AutoML与超参调优。

云原生流批一体

Serverless Flink、弹性伸缩与Spot实例、对象存储（S3/OSS）集成、K8s Operator最佳实践。

云原生Serverless

金融实时风控、电商实时大屏、物联网时序分析、社交推荐系统。

流批一体与数据网格、流式数仓（Streaming Warehouse）、RisingWave与Materialize对比、Flink 2.0展望。

趋势数据网格

综合实战一

基于Flink SQL构建实时ETL管道（MySQL CDC -> Kafka -> Iceberg -> ClickHouse）。

综合实战二

双十一实时大屏（Kafka -> Flink -> Redis -> WebSocket），含去重、累计UV、实时GMV。

大屏双十一

综合实战三

实时特征平台（Kafka -> Flink -> Feature Store -> Online Inference），含时间窗口特征、滑动聚合、模型调用。

特征平台推理