VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐Flink流式处理用户行为数据

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink基础入门

Flink是什么、发展史、核心特性、应用场景、有界流与无界流概念

流处理概念

Flink环境搭建

本地模式安装、Standalone集群、YARN部署、命令行提交作业

Flink编程模型

DataStream API概览、Source/Transformation/Sink算子、程序骨架

Flink时间语义

Event Time、Processing Time、Ingestion Time、Watermark、Timestamp分配

时间水位线

Flink窗口操作

滚动/滑动/会话/全局窗口、窗口函数、触发器与移除器

Flink状态管理

Keyed/Operator State、状态后端、TTL、Checkpoint与Savepoint

Flink容错机制

Exactly-Once语义、Checkpoint原理、重启策略、端到端一致性

一致性恢复

Flink Table & SQL

Table API、SQL查询、动态表、连接外部系统、CDC数据同步

复杂事件处理概念、Pattern API、匹配输出、超时处理、实战案例

Flink与Kafka集成

Kafka Source/Sink、精确一次语义、Offset管理、动态分区发现

消息队列集成

Flink与Redis集成

Redis Sink、维表关联、异步IO查询、缓存策略

Flink与HBase集成

HBase Sink、批量写入优化、RowKey设计、维表关联

Flink与Elasticsearch集成

ES Sink配置、索引管理、批量写入、查询优化

Flink与MySQL集成

JDBC Sink、双写一致性、Exactly-Once写入、CDC实时同步

Flink与HDFS集成

File Sink、滚动策略、分区策略、Parquet/ORC格式

Flink性能调优

并行度、内存配置、网络缓冲、序列化优化、反压处理

Flink监控与告警

Metrics系统、Web UI、Prometheus+Grafana、日志采集

监控可观测

Flink部署与运维

集群扩缩容、作业升级、版本兼容、常见故障排查

运维高可用

实战：用户行为日志采集

日志格式设计、Nginx采集、Kafka接入、ETL清洗

实战：用户活跃度统计

DAU/MAU计算、去重方案、HyperLogLog、BitMap优化

实战：用户路径分析

Session合并、页面跳转、漏斗模型、转化率计算

实战：实时推荐系统

用户画像、实时特征、协同过滤、AB测试

实战：实时风控系统

规则引擎、行为序列检测、异常评分、告警输出

实战：实时大屏展示

数据聚合、窗口计算、WebSocket推送、ECharts可视化

大屏可视化

实战：实时数仓建设

分层架构ODS/DWD/DWS/ADS、数据一致性、OLAP查询

实战：实时ETL与数据同步

异构数据源同步、Schema演进、数据质量监控

实战：多流Join与关联

双流Join、维表Join、Temporal Join、Interval Join

实战：复杂事件处理

用户行为序列匹配、异常模式检测、实时告警

实战：数据湖集成

Flink + Iceberg/Hudi、流批一体、增量查询、Compaction

数据湖Iceberg

实战：全链路压测与优化

压测方案、瓶颈分析、参数调优、最佳实践总结