VIP20
本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Delta Lake 实时写入 Kafka 方案

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Delta Lake 基础
Delta Lake 是什么、核心特性（ACID、时间旅行、Schema演进）、与Apache Spark的关系。
ACID时间旅行Spark
02
Kafka 基础回顾
Kafka核心概念（Topic、Partition、Consumer Group）、生产者与消费者API、消息可靠性保证。
TopicPartition可靠性
03
实时写入架构设计
Lambda架构 vs Kappa架构、为什么选择Delta Lake + Kafka、整体数据流设计。
LambdaKappa数据流
04
环境搭建
Spark + Delta Lake + Kafka集群搭建、版本兼容性检查、常用配置项。
集群兼容性配置
05
Delta Lake 表创建与配置
创建Delta表、设置分区策略、配置表属性（delta.appendOnly、delta.autoOptimize）。
分区appendOnlyautoOptimize
06
Kafka 生产者集成
Spark Structured Streaming读取Kafka、解析JSON/Avro消息、写入Delta Lake表。
Structured StreamingAvro写入
07
Exactly-Once 语义实现
事务日志机制、幂等写入、Checkpoint与Offset管理。
Exactly-Once幂等Checkpoint
08
Schema 演进实战
自动合并Schema、手动管理Schema变更、处理字段新增与删除。
Schema合并演进字段变更
09
时间旅行与数据回溯
Delta Lake版本管理、使用时间旅行查询历史数据、从Kafka回溯消费。
版本管理回溯时间旅行
10
性能优化
文件大小优化（Optimize）、Z-order排序、数据跳过（Data Skipping）、Compaction策略。
OptimizeZ-orderCompaction
11
监控与告警
Spark Streaming监控指标、Delta Lake表统计信息、Kafka Lag监控。
监控Lag统计
12
容错与恢复
Checkpoint恢复机制、Delta Lake事务日志恢复、Kafka消费者Rebalance处理。
容错Rebalance事务日志
13
CDC（变更数据捕获）场景
使用Debezium捕获数据库变更、写入Kafka、再入Delta Lake。
CDCDebezium变更捕获
14
多表关联写入
流-流Join、流-静态Join、维表关联（使用Delta Lake作为维表）。
流-流Join维表关联
15
数据质量保障
数据校验规则、异常数据处理、死信队列（Dead Letter Queue）设计。
质量死信队列校验
16
增量表与全量表
Merge Into（Upsert）操作、增量表构建、全量快照生成。
Merge IntoUpsert快照
17
批流一体实践
同一份Delta Lake数据同时服务批处理和流处理、统一元数据管理。
批流一体元数据统一
18
安全与权限
Delta Lake表级别权限、Kafka ACL配置、Spark安全集成。
权限ACL安全
19
云原生部署
在AWS EMR / Azure Databricks / GCP上部署、使用S3/ADLS/GCS作为存储层。
AWSAzureGCP
20
大规模测试
模拟高吞吐场景、压力测试工具、性能基准测试。
压力测试高吞吐基准
21
数据湖仓一体
Delta Lake + Hive Metastore集成、与Presto/Trino查询引擎配合。
HivePrestoTrino
22
实时数仓分层
ODS、DWD、DWS、ADS各层设计、数据流转链路。
ODSDWDDWSADS
23
Kafka Topic 设计
Topic分区数选择、消息Key设计、压缩策略、日志保留策略。
分区数Key压缩保留
24
Delta Lake 表优化
文件布局优化、Bloom Filter索引、动态分区修剪。
Bloom Filter布局动态修剪
25
Spark Structured Streaming 调优
微批处理 vs 连续处理、背压机制、并行度设置。
微批背压并行度
26
数据一致性校验
端到端数据对账、延迟监控、数据丢失检测。
对账延迟丢失检测
27
版本升级与迁移
Delta Lake版本升级注意事项、Kafka版本兼容性、数据迁移方案。
升级兼容性迁移
28
实战案例一：用户行为日志实时采集与分析
用户行为日志实时采集与分析，端到端落地。
用户行为日志采集实时分析
29
实战案例二：订单交易数据实时同步与报表
订单交易数据实时同步与报表，保证数据一致性。
订单实时同步报表
30
实战案例三：IoT设备数据实时入湖与异常检测
IoT设备数据实时入湖与异常检测，海量时序数据处理。
IoT异常检测时序