VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink企业级实时流处理应用交付

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时流处理概述

流处理与批处理的本质区别，金融风控、实时监控、推荐系统等典型场景，以及Flink、Spark Streaming、Kafka Streams、Storm等主流框架的对比分析。

流处理核心概念

数据流、事件时间与处理时间、水位线机制、滚动/滑动/会话窗口、状态管理与容错策略，构建流处理知识基石。

窗口水位线状态

Apache Kafka 深度解析

Kafka架构与核心组件（Producer、Consumer、Broker、Topic、Partition），消息可靠性保证，以及Kafka在流处理中的核心角色。

架构可靠性

Kafka 生产与消费实战

Java/Python客户端实现消息生产与消费，分区策略、消费者组与再均衡、偏移量提交机制等核心操作。

客户端分区偏移量

Kafka 高级特性

幂等性与事务、Kafka Connect与Kafka Streams简介，以及基于JMX和Cruise Control的监控运维实践。

事务Connect监控

Apache Flink 基础

Flink架构与运行模式（Session、Per-Job、Application），以及Standalone、YARN、Kubernetes多种集群部署方式。

Flink DataStream API（一）

Source（文件、Kafka、自定义）、Transformation（map、flatMap、filter、keyBy）、Sink（文件、Kafka、自定义）基础算子。

SourceTransformationSink

Flink DataStream API（二）

多流操作（Union、Connect、CoMap）、UDF函数（RichFunction、ProcessFunction）、侧输出（Side Output）高级用法。

多流UDF侧输出

Flink 时间语义与水位线

事件时间设置、周期性/标点式水位线生成策略、水位线传播机制以及处理迟到数据的方案。

事件时间水位线迟到数据

Flink 窗口实战

窗口分配器（Tumbling、Sliding、Session、Global），窗口函数（ReduceFunction、AggregateFunction、ProcessWindowFunction）及优化技巧。

窗口聚合优化

Flink 状态管理

ValueState、ListState、MapState等状态类型，Memory/FsStateBackend/RocksDB状态后端，以及状态TTL配置。

状态后端TTL

Flink 容错与一致性

检查点与保存点机制、精确一次语义、端到端精确一次（TwoPhaseCommitSinkFunction）实现原理。

检查点Exactly-Once

Flink Table & SQL

动态表与流概念、Table API编程、SQL查询（窗口聚合、Top-N、Join），以及与DataStream API的互操作。

SQLTable API互操作

Flink CEP（复杂事件处理）

Pattern API个体模式、组合模式、模式组，事件选择与跳过策略，以及CEP在风控与监控中的实际应用。

CEP模式风控

Flink 性能调优

算子链与任务槽、并行度设置、数据倾斜处理、反压监控与解决、内存配置优化等生产级调优手段。

调优反压并行度

Spark Streaming 基础

DStream模型、Spark Streaming与Kafka集成（Receiver vs Direct）、窗口操作与状态操作详解。

DStreamKafka集成窗口

Structured Streaming

无界表模型、Event-Time处理与水位线、流-流Join、流-维表Join、Append/Update/Complete输出模式。

无界表Join输出模式

Kafka Streams 入门

Kafka Streams架构、Processor API与DSL、状态存储（State Store）、KTable与KStream核心概念。

Kafka StreamsDSL状态存储

流处理中的Join操作

Window Join、Interval Join、Temporal Join（Flink/Spark）、Lookup Join（维表关联）实现与选型。

Join维表Temporal

序列化与Schema管理

Avro、Protobuf、JSON Schema对比，Schema Registry（Confluent/Apice）及兼容性策略实践。

序列化SchemaRegistry

实时数仓架构

Lambda与Kappa架构对比，实时数仓分层（ODS、DWD、DWS、ADS），Flink SQL在实时数仓中的实践。

数仓分层Flink SQL

实时ETL与数据清洗

数据过滤与转换、维表关联（异步IO、广播状态）、脏数据处理与死信队列机制。

ETL维表关联死信队列

实时监控与告警系统

指标采集（Prometheus + Micrometer）、告警规则引擎（Drools/Flink CEP）、可视化（Grafana）全链路构建。

监控告警Grafana

流处理中的机器学习

在线学习（Flink ML）、实时特征计算、模型推理（PMML/ONNX/TensorFlow Serving）集成方案。

机器学习特征工程推理

流处理安全与权限控制

Kafka ACL与SSL、Flink安全配置（Kerberos、SSL）、数据脱敏与审计等企业安全实践。

安全ACL脱敏

流处理测试与质量保障

单元测试（TestHarness）、集成测试（Kafka Testcontainers）、混沌工程与故障注入方法。

测试Testcontainers混沌工程

CI/CD与自动化部署

Flink作业CI/CD流水线（Jenkins/GitLab CI）、容器化部署（Docker + K8s）、版本管理与回滚策略。

CI/CD容器化K8s

流处理监控与运维

Flink Web UI与Metrics、日志聚合（ELK）、作业重启策略与高可用（HA）、资源动态扩缩容。

运维HA扩缩容

企业级案例实战（一）

实时用户行为分析系统：埋点采集 → Kafka → Flink → ClickHouse → 实时大屏全链路实现。

实战用户行为大屏

企业级案例实战（二）

实时风控系统：交易事件 → Kafka → Flink CEP → 规则引擎 → 告警/阻断，端到端风控方案。

实战风控CEP