VIP20

本课程属于：031-埋点与事件治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

离线与实时事件链路整合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与概念辨析

什么是离线事件？什么是实时事件？为什么需要链路整合？从业务场景出发厘清核心概念与整合价值。

技术选型全景图

Lambda架构 vs Kappa架构，离线与实时引擎选型对比。从批流一体视角剖析技术栈取舍。

事件模型设计

统一事件Schema设计，事件ID、时间戳、元数据规范。构建跨链路可追溯的标准化事件模型。

离线链路基石：HDFS与Hive数仓

HDFS与Hive数仓分层设计（ODS/DWD/DWS/ADS）。掌握离线存储核心与分层治理策略。

实时链路基石：Kafka

Kafka主题设计、分区策略与消息可靠性保证。构建高吞吐、可回放的实时数据管道。

消息队列Kafka

实时计算引擎：Flink基础

Flink基础概念、DataStream API与时间语义。从零搭建实时处理核心能力。

离线计算引擎：Spark SQL

Spark SQL与DataFrame，批处理ETL实战。高效处理大规模离线数据转换。

双链路写入策略

同时写入Hive与Kafka的Exactly-Once保证。解决分布式事务与幂等性难题。

一致性写入

事件时间对齐

处理时间、事件时间、摄入时间的选择与转换。统一双链路时间语义，避免数据偏差。

时间语义对齐

水位线机制

Flink Watermark在乱序事件中的应用与实战。精准控制实时窗口触发与延迟处理。

Watermark乱序

离线回溯机制

Hive分区动态写入与历史数据重跑策略。支持离线链路的灵活回溯与数据修复。

实时状态管理

Flink Keyed State与Checkpoint/Savepoint机制。保障实时应用的状态一致性与容错。

离线维表（HBase）与实时维表（Redis/MySQL CDC）的整合。双链路维表统一访问模式。

Flink Interval Join与Window Join在实时链路中的实践。处理实时数据流关联场景。

离线Join优化

Spark SQL大表Join优化（Broadcast Join、Sort Merge Join）。提升离线批处理性能。

数据一致性校验

离线与实时结果对账方案（全量比对与抽样比对）。构建双链路数据质量闭环。

延迟数据处理

实时侧输出流（Side Output）与离线延迟数据回补。优雅处理迟到事件与数据修补。

数据湖整合

Apache Iceberg/Delta Lake在离线实时统一存储中的应用。湖仓一体实践。

数据湖Iceberg

Debezium + Kafka Connect实现数据库变更捕获入湖入流。实时同步与增量集成。

元数据管理

Apache Atlas / DataHub在双链路中的血缘追踪。打通离线与实时元数据治理。

血缘元数据

离线调度（Airflow）与实时任务（Flink Job）的统一编排。构建混合工作流调度体系。

Prometheus + Grafana监控双链路延迟、吞吐量与数据质量。可观测性落地。

数据质量监控

Great Expectations在离线与实时数据质量上的应用。自动化质量门禁。

质量Great Expectations

全链路压测

离线与实时链路的性能压测方法与工具选型。保障生产级吞吐与稳定性。

案例实战（一）

用户行为日志的离线与实时聚合链路。从埋点到OLAP的全流程实战。

实战用户行为

案例实战（二）

订单交易事件的实时风控与离线分析链路。双链路护航交易安全。

案例实战（三）

IoT设备数据的双链路处理与异常检测。海量时序数据实时离线融合。

双链路中的数据生命周期管理与存储成本优化。降本增效治理策略。

从Lambda到Kappa再到流批一体（Streaming Batch Unification）。未来架构趋势。

演进流批一体

课程总结与面试指南

常见面试题解析与架构设计思路复盘。巩固知识，备战高阶岗位。