VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink机器学习实时指标与特征计算

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时指标计算概述

什么是实时指标、实时计算与离线计算的对比、实时计算的应用场景。

实时计算技术选型

Flink、Spark Streaming、Kafka Streams对比，选型依据与最佳实践。

Flink基础概念

DataStream API、时间语义、窗口机制、状态管理。

Flink环境搭建

本地模式、Standalone集群、YARN模式部署与配置。

Flink DataStream API入门

Source、Transformation、Sink，WordCount实战。

Flink时间语义与Watermark

EventTime、ProcessingTime、IngestionTime，Watermark原理与配置。

时间Watermark

Flink窗口操作

滚动窗口、滑动窗口、会话窗口，窗口函数使用。

Flink状态编程

Keyed State与Operator State，状态后端配置与调优。

Flink Checkpoint与容错机制

Checkpoint原理、Exactly-Once语义、Savepoint使用。

容错一致性

Flink Table & SQL API

动态表、流式SQL、UDF自定义函数。

Kafka基础与架构

Topic、Partition、Consumer Group，消息可靠性保证。

Kafka生产者与消费者

Java API实战，分区策略，幂等性与事务。

Kafka Streams入门

流处理拓扑、KTable与KStream、状态存储。

实时指标计算核心模型

滑动窗口聚合、计数、去重、TopN计算。

实时指标存储选型

Redis、HBase、ClickHouse、Druid对比与场景。

Redis在实时指标中的应用

数据结构选择、Pipeline、过期策略、集群模式。

ClickHouse实时查询

MergeTree引擎、物化视图、实时写入优化。

ClickHouse查询

实时数据管道架构

Lambda架构与Kappa架构，选型与演进。

数据采集层设计

日志采集（Filebeat/Flume）、消息队列选型、Schema管理。

实时ETL处理

数据清洗、字段映射、维表关联、乱序数据处理。

实时指标计算流水线

从Kafka到Flink到存储的完整链路搭建。

流水线集成

监控与告警体系

指标延迟监控、数据质量监控、任务异常告警。

实时数据一致性保障

幂等写入、去重机制、Exactly-Once端到端实现。

一致性Exactly-Once

性能调优实战

Flink并行度调优、Kafka分区优化、内存与GC调优。

实时数仓建设

DWD、DWS、ADS分层设计，实时宽表构建。

实时指标可视化

Grafana、Superset接入，实时大屏设计思路。

可视化大屏

案例实战一：电商实时GMV与订单量统计

含代码，完整电商实时交易指标计算。

案例实战二：实时用户行为分析

PV/UV、留存、漏斗分析。

用户行为分析

案例实战三：实时风控指标计算

异常登录、高频交易检测。

总结与展望

实时计算趋势、云原生实时计算、未来挑战。

趋势云原生