VIP20
本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

流批一体架构在日志场景落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
日志场景的痛点分析
传统离线批处理与实时流处理的割裂，为什么需要流批一体？
割裂流批一体
02
流批一体核心概念
Lambda架构、Kappa架构、流批一体架构的演进与对比。
LambdaKappa演进
03
主流技术选型
Flink、Spark Streaming、Kafka Streams、Paimon/Iceberg 的选型对比。
FlinkSparkPaimon
04
Flink 核心原理
DataStream API、Table API、时间语义、Watermark、状态后端。
DataStreamWatermark
05
Flink 日志采集实战
使用 Flink DataStream 从 Kafka 消费 Nginx 日志。
KafkaNginx采集
06
Flink CDC 实时采集
监听 MySQL Binlog 变更，实时入湖入仓。
CDCBinlog入湖
07
Flink SQL 在日志清洗中的应用
ETL 转换、字段过滤、数据脱敏。
ETL脱敏SQL
08
Flink 窗口计算
滚动窗口、滑动窗口、会话窗口在日志聚合中的使用。
滚动窗口滑动窗口
09
Flink 状态管理与容错
Checkpoint、Savepoint、Exactly-Once 语义。
CheckpointExactly-Once
10
Flink 与 Kafka 集成
Source/Sink 配置、分区分配、消费偏移量管理。
Source/Sink偏移量
11
Apache Paimon 入门
表格式、LSM Tree、Changelog 机制。
LSM TreeChangelog
12
Paimon 在日志场景的读写
批量读取、流式读取、Merge-On-Read。
批量读取Merge-On-Read
13
Paimon 分区与桶策略
如何根据时间分区、如何设置桶数优化查询。
分区桶策略
14
Paimon 的 Compaction 机制
小文件合并、Full Compaction 与 Incremental Compaction。
Compaction小文件
15
Paimon 的 Tag 与 Branch
实现日志数据的版本管理与回溯。
TagBranch版本管理
16
流批一体数据湖架构
Flink + Paimon + Hive/Metastore 的整合方案。
数据湖HiveMetastore
17
日志数据的分层设计
ODS、DWD、DWS、ADS 在流批一体中的落地。
ODSDWDDWSADS
18
实时数仓 vs 离线数仓
在日志场景下如何统一调度与存储。
实时数仓离线数仓统一调度
19
Flink 与 Paimon 的流写批读
实时写入 Paimon，离线用 Spark/Presto 查询。
流写批读SparkPresto
20
日志场景的 Exactly-Once 语义保障
端到端一致性实现。
Exactly-Once端到端
21
日志数据的回溯与重放
基于 Paimon 的 Time Travel 查询。
Time Travel回溯
22
日志监控与告警
基于 Flink CEP 的实时异常检测。
CEP异常检测告警
23
日志数据的多维分析
Flink + ClickHouse/Doris 的实时 OLAP 方案。
ClickHouseDorisOLAP
24
日志场景的 Schema Evolution
字段新增、删除、类型变更如何处理。
Schema Evolution字段变更
25
日志数据的生命周期管理
TTL、数据过期策略、冷热分层。
TTL冷热分层过期策略
26
大规模日志场景的性能优化
Flink 并行度调优、Paimon 写入调优。
并行度写入调优
27
日志场景的运维与监控
Flink Job 监控、Paimon 表健康度检查。
运维监控健康度
28
实战案例：电商平台用户行为日志
电商平台用户行为日志的流批一体处理。
电商用户行为实战
29
实战案例：IoT 设备日志
IoT 设备日志的实时接入与离线分析。
IoT实时接入离线分析
30
流批一体架构的未来趋势
云原生、Serverless、AI 与日志的融合。
云原生ServerlessAI
专注课程资料整理