VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐Lakehouse架构下的实时数据处理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖再到Lakehouse的演变历程与核心驱动力，理解现代数据栈的必然选择。

Lakehouse核心概念

ACID事务、Schema-on-Read与Schema-on-Write、开放存储格式（Delta Lake/Iceberg/Hudi）深度解析。

ACID开放格式

实时数据处理概述

Lambda架构与Kappa架构的对比，实时处理的挑战与价值，选型决策指南。

Spark Structured Streaming

流式DataFrame/Dataset API、微批处理与连续处理模式，构建高吞吐管道。

微批连续处理

Delta Lake核心特性

时间旅行、Schema演进、Change Data Feed（CDF）与Merge操作，解锁湖仓一体。

时间旅行CDF

实时数据摄取

Kafka作为实时数据管道，Spark Structured Streaming与Kafka集成，端到端低延迟。

实时ETL与ELT

流式数据清洗、转换、聚合，使用Spark SQL进行流式查询，简化管道逻辑。

状态管理与水印

处理乱序数据、事件时间与处理时间、水印机制与状态清理，保证准确性。

实时数据湖写入

使用Delta Lake进行流式写入，优化小文件问题与写入性能，提升稳定性。

写入优化小文件

增量数据处理

基于Delta Lake CDF实现增量CDC，与下游系统同步，变更数据捕获实战。

实时数据质量监控

数据完整性校验、延迟监控、异常检测与告警机制，保障管道可信。

实时数据服务

使用Delta Sharing或Apache Hudi进行实时数据共享与查询，安全开放数据。

共享Delta Sharing

实时特征工程

为机器学习模型构建实时特征，使用Feature Store（如Feast）加速ML迭代。

特征工程Feast

实时BI与可视化

连接实时数据湖到Superset/Tableau，实现近实时仪表盘，驱动决策。

实时数据管道编排

使用Apache Airflow/Dagster调度流式作业，处理依赖与重试，生产级编排。

Spark Structured Streaming参数调优、并行度设置、背压机制，榨干集群性能。

容错与一致性

Exactly-Once语义、检查点机制、故障恢复策略，构建高可靠管道。

Exactly-Once检查点

实时数据安全

数据脱敏、访问控制、审计日志在流式场景下的实现，满足合规要求。

多模态数据支持

处理结构化、半结构化（JSON/Avro/Parquet）与实时流数据，统一存储。

实时数据湖的存储优化

Z-order排序、数据跳过索引、文件压缩策略，降低存储与查询成本。

元数据管理

Hive Metastore与AWS Glue Catalog集成，元数据同步，统一发现。

云原生实践

AWS Kinesis + S3 + Athena，Azure Event Hub + ADLS + Synapse，多云架构。

监控与运维

Prometheus + Grafana监控流式作业，日志聚合，可观测性最佳实践。

PrometheusGrafana

Spot实例使用、自动扩缩容、冷热数据分层，优化实时湖仓成本。

Spot冷热分层

单元测试、集成测试、端到端测试流式管道，保障代码质量。

测试端到端

数据版本控制、回滚策略、A/B测试数据环境，安全迭代。

实时模型推理、在线学习、特征回溯，打通数据湖与ML pipeline。

治理与合规

数据血缘追踪、数据目录（Data Catalog）、GDPR合规，企业级治理。

事件溯源、CQRS、数据网格（Data Mesh）在实时场景的应用，架构进阶。

构建一个端到端的实时数据湖系统（从Kafka到Delta Lake到BI报表），全流程贯通。

实战端到端

专注课程资料整理