VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构选型解析

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

为什么需要流批一体？Lambda架构的痛点、Kappa架构的局限、流批一体的核心思想。

架构演进核心概念

技术选型框架

选型评估维度（延迟、吞吐、一致性、生态）、技术成熟度曲线、组织能力匹配度。

评估模型决策框架

Apache Flink深度解析

Flink架构、事件时间与处理时间、状态管理与Checkpoint、Savepoint机制。

实时计算状态管理

Flink SQL与Table API

动态表概念、连续查询、维表Join、CDC数据入湖入仓。

Apache Spark Structured Streaming

微批处理模型、连续处理模式、与批处理的无缝融合。

微批流批融合

Spark SQL与Delta Lake

ACID事务、Schema演进、Time Travel、Merge操作。

数据湖Delta Lake

Apache Kafka与流存储

Kafka作为流式数据基石、Topic分区与消费者模型、Kafka Streams与KSQL。

消息队列流存储

Apache Paimon（原Flake）

表格式与流批一体、Changelog机制、Merge Engine、Append Only表。

表格式Changelog

表格式规范、ACID与快照隔离、分区演进、隐藏分区与分区变换。

Iceberg快照隔离

Copy-on-Write与Merge-on-Read、索引机制（Bloom Filter、HBase）、Clustering与Compaction。

流批一体数据湖架构

Lakehouse架构模式、流式写入与批式读取、实时OLAP与Ad-hoc查询。

实时数仓分层设计

ODS、DWD、DWS、ADS的流式实现、分层原则与数据回溯。

数仓分层实时

CDC（Change Data Capture）技术

Debezium原理、Canal与Maxwell对比、Flink CDC Connector实战。

消息队列选型

Kafka vs Pulsar vs RocketMQ、分层存储、消费模型、Exactly-Once语义。

消息中间件选型

状态后端与容错

RocksDB状态后端、增量Checkpoint、Unaligned Checkpoint、状态TTL。

状态后端容错

Watermark与乱序处理

Watermark生成策略、Idle Source处理、Allowed Lateness、Side Output。

Watermark乱序

Tumble Window、Hop Window、Session Window、Cumulate Window、窗口表值函数。

双流Join与维表关联

Interval Join、Regular Join、Lookup Join、Temporal Join、去重与排序。

流式ETL与数据清洗

实时数据过滤、字段映射、类型转换、数据质量监控、异常处理。

ETL数据清洗

实时特征工程

在线特征计算、特征存储（Redis、HBase）、特征回溯、特征一致性校验。

特征工程在线

实时机器学习

在线模型推理、特征流水线、模型版本管理、A/B测试框架。

机器学习推理

监控与可观测性

Metrics Reporter、自定义监控指标、告警规则、链路追踪（OpenTelemetry）。

监控可观测性

资源调度与弹性伸缩

YARN、Kubernetes、Native Kubernetes集成、动态资源分配、Task Slot管理。

并行度设置、数据倾斜处理、算子链与资源隔离、网络缓冲调优、序列化优化。

生产环境最佳实践

作业参数配置、日志管理、版本升级策略、灰度发布、回滚方案。

运维最佳实践

数据一致性保障

端到端Exactly-Once、幂等写入、两阶段提交Sink、事务性输出。

一致性Exactly-Once

多机房与异地容灾

主备模式、双活架构、数据复制、故障切换、RPO与RTO目标。

容灾多机房

资源利用率提升、冷热数据分层、压缩算法选择、Spot实例利用、作业合并。

实时数仓从0到1、实时风控系统、实时推荐系统、实时大屏与BI报表。

流批一体与AI融合、Serverless流计算、云原生流处理、数据网格与流式数据目录。

趋势云原生