VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink CDC实时机器学习数据流水线

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流水线基础认知

理解实时流水线核心概念，对比批处理与流处理差异，探索日志监控、实时推荐、风控等典型应用场景。

核心架构选型

深入Lambda与Kappa架构对比，掌握Kafka vs Pulsar消息队列选型，以及Flink与Spark Streaming引擎抉择。

基于Docker与Compose快速搭建开发环境，完成Kafka单机/集群部署，配置Flink本地开发环境。

剖析Topic与Partition机制，掌握生产者消费者API，深入消息可靠性ACK、ISR及Offset管理策略。

消息队列可靠性

学习Flink架构与核心角色，入门DataStream API，掌握Source、Sink及Transformation算子使用。

Flink时间语义

区分Event Time、Processing Time与Ingestion Time，深入Watermark机制与乱序数据处理。

时间Watermark

Flink状态管理

掌握Keyed State与Operator State，对比Memory/Fs/RocksDB状态后端，实现Checkpoint与Savepoint。

Flink窗口操作

实现Tumbling、Sliding、Session窗口，自定义窗口函数与触发器，处理时间窗口聚合。

连接外部系统

集成Kafka、JDBC、Elasticsearch、Redis Connector，实现流数据与外部存储无缝交互。

Connector集成

数据序列化

对比Avro与Protobuf，集成Schema Registry，开发自定义序列化器提升传输效率。

序列化Schema

实时ETL实战

从Kafka读取JSON日志，执行数据清洗与字段映射，最终写入Elasticsearch构建实时索引。

实时聚合计算

使用Flink SQL实现Group By聚合、TopN计算与Cumulate Window，完成实时指标统计。

实战Regular Join、Interval Join、Window Join与Temporal Join，解决多流关联问题。

复杂事件处理(CEP)

定义Flink CEP模式，匹配事件序列，配置超时与跳过策略，实现复杂业务监控。

监控与告警

集成Prometheus+Grafana监控Flink作业，自定义Metrics并配置告警规则。

数据湖集成

基于Apache Iceberg，使用Flink写入数据湖表，实现实时入湖与湖仓一体实践。

数据湖Iceberg

CDC实时同步

通过Debezium采集MySQL Binlog，Flink解析CDC事件，同步至Kafka或Iceberg。

实时特征工程

Flink生成实时特征并存储至Redis，结合在线推理调用，支撑实时推荐与风控。

端到端延迟优化

检测与处理反压，优化算子链与资源分配，调整序列化与网络参数降低延迟。

容错与一致性

实现Exactly-Once语义，掌握两阶段提交Sink，制定故障恢复策略保障数据一致性。

容错一致性

多流合并与拆分

使用Union、Connect、Side Outputs、Split操作，灵活处理多流合并与拆分场景。

自定义UDF与UDAF

开发ScalarFunction、TableFunction、AggregateFunction，扩展Flink SQL计算能力。

Flink SQL进阶

掌握DDL与DML，实现Temporal Table Join、Lookup Join，集成Hive加速分析。

实时数仓分层

设计ODS/DWD/DWS/ADS分层架构，使用Flink SQL实现分层ETL与数据质量监控。

生产环境部署

基于YARN/K8s部署Flink作业，配置高可用与日志监控，保障生产稳定运行。

部署高可用

性能压测与调优

处理数据倾斜，调整并行度与内存网络参数，通过压测验证优化效果。

实时数据质量

实施数据校验与异常检测，构建质量监控看板，确保实时数据准确可靠。

CI/CD与自动化

使用GitLab CI自动化部署Flink作业，实现版本管理与灰度发布流程。

案例实战1：用户行为分析

构建实时PV/UV统计、用户路径分析与留存分析，完整落地用户行为平台。

实战用户行为

案例实战2：交易风控系统

设计规则引擎与异常检测模块，实时输出告警，构建端到端交易风控流水线。