VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse与实时链路整合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖再到Lakehouse的演变历程与核心驱动力，理解现代数据栈的必然选择。

Lakehouse核心概念

Delta Lake、Apache Iceberg、Apache Hudi三大开放表格式对比，选型与最佳实践。

表格式开放

实时计算基础

Apache Kafka核心概念、Topic与Partition机制、消息投递语义，构建可靠数据管道。

实时计算引擎

Apache Flink核心概念、流处理与批处理统一、Checkpoint机制，状态一致性的基石。

实时摄取架构

Change Data Capture (CDC) 原理、Debezium与Kafka Connect实战，无缝捕获数据库变更。

实时写入Lakehouse

Flink写入Delta Lake/Iceberg的Exactly-Once语义实现，端到端一致性保障。

Exactly-Once写入

实时ETL与流批一体

Flink SQL实时清洗、聚合与维表关联，流批一体降低开发复杂度。

Flink SQL维表

实时数仓分层

ODS、DWD、DWS、ADS在实时链路中的设计与实现，分层治理最佳实践。

实时数据质量

Schema演进、数据延迟处理、乱序数据处理（Watermark），保证实时数据可信。

Watermark质量

实时监控与告警

Flink与Kafka监控指标、Prometheus+Grafana集成，可观测性体系搭建。

实时数据服务

实时OLAP引擎（ClickHouse、StarRocks）与Lakehouse集成，加速分析查询。

实时特征工程

基于Flink的实时特征计算与特征存储，赋能在线推理与模型服务。

实时机器学习

在线推理与特征服务架构，打通实时数据到模型预测的最后一公里。

实时数据湖查询加速

Apache XTable、Presto/Trino查询优化，提升湖上交互式分析性能。

实时数据备份与恢复

Delta Lake Time Travel与Iceberg Snapshots，实现数据版本管理与快速恢复。

Time Travel备份

实时数据安全

列级权限、数据脱敏与审计日志，构建细粒度实时数据安全防线。

实时数据治理

元数据管理（Apache Atlas）、数据血缘追踪，让实时数据资产清晰可控。

实时数据合规

GDPR数据删除、数据保留策略，满足法规要求的实时数据生命周期管理。

实时数据测试

Flink单元测试、集成测试与端到端测试，保障实时作业质量与稳定性。

实时数据部署

Kubernetes上部署Flink与Kafka集群，容器化编排与弹性伸缩。

实时数据CI/CD

Flink作业的持续集成与持续部署流水线，加速迭代与交付。

实时数据成本优化

Flink状态后端优化、Kafka存储优化，降低实时链路总体拥有成本。

实时数据性能调优

Flink并行度设置、背压处理、内存调优，榨干集群性能。

实时数据一致性

分布式事务、两阶段提交在实时链路中的应用，保证跨系统一致性。

实时数据回放

基于Kafka的离线数据回放与历史数据修复，灵活应对数据异常。

实时数据迁移

从传统数仓迁移到Lakehouse实时架构，平滑过渡与双跑策略。

实时数据多活

跨地域实时数据同步与容灾，建设高可用实时数据平台。

实时数据湖仓一体

Apache Paimon（原Flake）实时湖仓实践，流式入湖与更新能力。

实时数据产品化

构建实时数据API与数据产品，将实时能力封装为业务服务。

实时数据未来趋势

AI原生数据湖、Serverless实时计算、Data Mesh与实时数据网格，前瞻技术方向。

趋势Data Mesh