VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

湖仓增量采集与批流数据处理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖仓概述

数据湖与数据仓库的演进、湖仓一体架构的核心思想、增量处理的价值与挑战。

湖仓一体增量价值

增量数据采集

CDC技术原理（日志解析、时间戳、触发器）、常见CDC工具对比（Debezium、Canal、Maxwell）。

Apache Kafka核心

Topic与Partition设计、消息可靠性保证、Kafka Connect与Source/Sink Connector。

Apache Flink基础

Flink架构与运行模式、DataStream API入门、事件时间与处理时间。

FlinkDataStream

Flink CDC实战

Flink CDC Connector原理、MySQL CDC到Kafka的实时同步、断点续传与Exactly-Once语义。

CDCExactly-Once

Delta Lake基础

Delta Lake架构、ACID事务与版本管理、时间旅行（Time Travel）查询。

Delta LakeTime Travel

Delta Lake增量读写

Merge Into（Upsert）操作、Change Data Feed（CDF）机制、Optimize与Z-Order优化。

Apache Hudi基础

Hudi表类型（Copy on Write vs Merge on Read）、索引机制（Bloom Filter、HBase）、Incremental Query。

Apache Iceberg基础

Iceberg表格式、分区演进与隐藏分区、Incremental Read与Snapshot。

IcebergSnapshot

湖仓增量写入策略

微批处理（Micro-batch）模式、流式写入（Streaming Ingestion）、小文件合并策略。

微批小文件合并

增量ETL/ELT架构

Lambda架构与Kappa架构对比、流批一体设计模式、数据湖上的增量管道。

Spark Structured Streaming

Input Sources与Output Sinks、Trigger配置（Fixed、Processing Time、Once）、Watermark与延迟数据处理。

Structured StreamingWatermark

Spark增量读写Delta Lake

使用Spark SQL进行Merge、Streaming Query写入Delta表、Delta Sharing与增量共享。

Spark SQLDelta Sharing

Spark增量读写Hudi

Hudi DataSource写入、Hudi DeltaStreamer工具、Clustering与Compaction管理。

DeltaStreamerCompaction

Spark增量读写Iceberg

Iceberg Spark Procedures、Branching与Tagging、Incremental Scan性能调优。

ProceduresBranching

增量数据质量监控

Great Expectations与Deequ框架、增量数据校验策略、异常检测与告警机制。

数据质量Deequ

增量数据血缘与元数据

Apache Atlas与DataHub集成、OpenLineage标准、增量管道的血缘追踪。

AtlasOpenLineage

增量数据湖的存储优化

列式存储（Parquet/ORC）与压缩算法选择、文件布局优化（File Sizing）、数据生命周期管理。

Parquet生命周期

增量处理中的一致性保证

两阶段提交（2PC）与Kafka事务、Flink的Checkpoint与Savepoint、湖仓的乐观并发控制。

实时增量数仓设计

分层设计（ODS/DWD/DWS/ADS）的增量实现、宽表与维度表的增量更新、实时指标计算。

分层设计实时指标

增量数据回填与修复

历史数据批量回填策略、数据补偿机制、Schema Evolution兼容性处理。

回填Schema Evolution

增量管道监控与运维

Prometheus + Grafana监控指标、Flink/Hudi/Spark作业调优、失败恢复与重试策略。

PrometheusGrafana

云原生湖仓增量方案

AWS Lake Formation + Delta Lake、Azure Synapse + Spark、GCP BigLake + Iceberg。

增量数据安全与权限

列级与行级权限控制、数据脱敏策略、审计日志与合规要求。

大规模增量性能调优

并行度与资源分配、数据倾斜处理、Shuffle优化与Broadcast Join。

性能调优Broadcast Join

增量数据湖上的机器学习

Feature Store增量更新、实时特征工程、模型在线推理的数据管道。

Feature Store在线推理

多模态增量数据集成

结构化、半结构化（JSON/XML）、非结构化（日志/图片）的增量处理。

多模态非结构化

增量数据湖的测试策略

单元测试与集成测试、数据比对工具（DataDiff）、回放测试与混沌工程。

DataDiff混沌工程

案例实战：电商实时数仓

电商实时数仓（订单/支付/物流增量同步）、金融风控实时特征计算、IoT设备数据增量入湖。

电商金融风控IoT

未来趋势与总结

流式湖仓（Streaming Lakehouse）、Serverless增量处理、AI驱动的数据管道优化。

Streaming LakehouseServerless