VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据流批一体数据管道搭建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

Lambda架构与Kappa架构对比、流批一体核心概念、适用场景分析。

数据源接入

Kafka基础与安装配置、Kafka生产者与消费者API、模拟数据生成器开发。

Flink基础入门

Flink架构与运行模式、Flink开发环境搭建、第一个Flink流处理程序。

Flink DataStream API

Source与Sink算子、Transformation算子详解、KeyBy与Window操作。

Flink Table & SQL

Table API基础、动态表与连续查询、Flink SQL实战案例。

Flink状态管理与容错

Keyed State与Operator State、Checkpoint与Savepoint机制、Exactly-Once语义实现。

Flink CEP复杂事件处理

CEP模式定义、事件选择与跳过策略、超时与迟到事件处理。

Flink与Hive集成

Hive Catalog配置、Flink读写Hive表、批流一体查询Hive。

Spark Structured Streaming

Structured Streaming模型、Event-Time与Watermark、流式聚合与Join。

Spark批处理回顾

DataFrame与Dataset API、Spark SQL优化、批处理ETL案例。

Delta Lake基础

Delta Lake架构与特性、ACID事务与时间旅行、Delta表读写操作。

Delta Lake流批一体

Delta Streaming Source/Sink、Merge操作与CDC、Schema Evolution。

Apache Hudi基础

Hudi表类型（COW/MOR）、Hudi写入模式（UPSERT/INSERT）、Hudi查询类型。

Apache Hudi流批一体

Hudi Streamer工具、DeltaStreamer实战、Hudi与Flink集成。

Apache Iceberg基础

Iceberg表格式与Catalog、Iceberg分区与排序、Iceberg快照管理。

Apache Iceberg流批一体

Iceberg Streaming Sink、Incremental Query、Iceberg与Spark集成。

数据湖选型对比

Delta Lake vs Hudi vs Iceberg、性能与生态对比、选型决策指南。

消息队列增强

Pulsar基础与架构、Pulsar与Kafka对比、Pulsar Functions与IO Connectors。

Pulsar消息队列

实时数仓分层设计

ODS/DWD/DWS/ADS分层、实时维度建模、宽表与指标设计。

CDC数据同步

Debezium原理与部署、MySQL Binlog解析、CDC入湖最佳实践。

数据质量监控

Flink端到端延迟监控、数据完整性校验、异常告警与修复机制。

元数据管理

Apache Atlas集成、数据血缘追踪、数据目录与搜索。

任务调度与编排

Apache Airflow基础、DAG定义与依赖管理、流批任务混合调度。

资源管理与部署

Kubernetes基础、Flink on K8s部署、Spark on K8s部署。

Flink内存模型与调优、Spark Shuffle优化、存储格式选择（Parquet/ORC/AVRO）。

安全与权限

Kerberos认证、Ranger权限控制、数据脱敏与加密。

全链路压测

压测工具选型（JMeter/Locust）、模拟真实流量、瓶颈分析与扩容。

案例实战1：实时用户行为分析

埋点数据→Kafka→Flink→ClickHouse，构建实时用户行为分析管道。

实战用户行为

案例实战2：实时订单CDC入湖

MySQL→Debezium→Kafka→Hudi→Spark SQL，实时订单CDC入湖管道。

案例实战3：批流一体数据仓库

历史数据批量入湖 + 实时增量入湖 + 统一查询，构建批流一体数仓。

数仓批流一体