VIP20

本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

日志数据增量计算与全量计算协同

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

增量与全量概述

什么是增量计算、什么是全量计算、两者的核心区别、为什么需要协同。

数据同步基础

全量同步原理、增量同步原理、CDC技术简介、日志解析机制。

全量计算模型

批处理模式、MapReduce思想、Spark Core全量处理、Hive全量ETL。

增量计算模型

流处理模式、Spark Streaming微批次、Flink实时流、Kafka Streams。

Lambda架构详解

Lambda架构三层模型、批处理层、速度层、服务层、优缺点分析。

Kappa架构详解

Kappa架构设计思想、为什么抛弃批处理层、适用场景、与Lambda对比。

IOTA架构理念、实时即服务、端到端一致性、架构演进趋势。

数据湖与增量计算

数据湖概念、Delta Lake增量读写、Apache Hudi、Iceberg。

CDC工具实战

Debezium部署、Canal配置、Maxwell使用、实时捕获MySQL变更。

消息队列选型

Kafka核心概念、分区与偏移量、Kafka Connect、Pulsar对比。

消息队列Kafka

状态管理与容错

状态后端选择、Checkpoint机制、Savepoint、Exactly-Once语义。

时间语义与Watermark

事件时间、处理时间、Watermark原理、乱序数据处理。

时间Watermark

滚动窗口、滑动窗口、会话窗口、窗口函数优化。

流流Join、流表Join、双流Join、维表关联、异步IO优化。

全量转增量策略

全量快照初始化、增量补录机制、数据回溯方案。

增量转全量策略

增量数据合并、小文件合并、Compaction机制。

合并Compaction

数据一致性保证

最终一致性、强一致性、两阶段提交、分布式事务。

一致性事务

去重与幂等性

主键去重、窗口去重、布隆过滤器、幂等写入设计。

延迟数据处理

迟到元素处理策略、侧输出、Allowed Lateness。

延迟侧输出

并行度设置、背压处理、资源动态分配、算子链优化。

监控与告警

延迟监控、吞吐量监控、数据质量监控、自定义告警规则。

数据回溯与修复

历史数据重跑、增量补偿、数据订正流程。

实时数仓架构

实时数仓分层、ODS/DWD/DWS/ADS、实时维度建模。

OLAP引擎集成

ClickHouse实时查询、Doris聚合模型、StarRocks主键模型。

数据服务化

实时API设计、数据缓存策略、查询路由、限流降级。

元数据管理、血缘追踪、数据质量规则、生命周期管理。

治理元数据

安全与权限

数据脱敏、行级权限、列级权限、审计日志。

混合计算场景

实时推荐系统、实时风控、实时大屏、实时报表。

云原生实践

Kubernetes部署、弹性伸缩、容器化Flink、云存储集成。

流批一体、数据网格、AI辅助计算、Serverless数据平台。