VIP20

本课程属于：015-实时数据产品设计 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

零基础构建实时指标层系统设计与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

指标层概述

什么是实时指标层、为什么需要实时指标层、实时指标层与传统数仓的区别。

实时计算引擎对比（Flink vs Spark Streaming）、消息队列选型（Kafka vs Pulsar）、存储选型（ClickHouse vs Druid）。

Linux基础环境配置、Docker与Docker Compose安装、Flink Standalone集群搭建。

Kafka核心概念（Topic、Partition、Consumer Group）、Kafka安装与启动、命令行生产消费消息。

消息队列实操

Flink架构与组件、DataStream API入门、WordCount实战。

流计算入门

Flink时间语义

Event Time、Processing Time、Ingestion Time、Watermark机制详解。

时间Watermark

Flink窗口操作

Tumbling Window、Sliding Window、Session Window、Global Window实战。

Flink状态管理

Keyed State与Operator State、状态后端配置、Checkpoint与Savepoint。

Flink容错机制

Exactly-Once语义、端到端一致性、两阶段提交协议。

Flink SQL入门

Table API与SQL、动态表概念、连续查询原理。

什么是CDC、Flink CDC Connector实战（MySQL CDC）、实时同步数据到Kafka。

CDC实时同步

ClickHouse基础

ClickHouse架构、MergeTree引擎、列式存储原理。

ClickHouse表引擎

MergeTree家族、ReplacingMergeTree、SummingMergeTree、AggregatingMergeTree。

引擎合并树

ClickHouse查询优化

分区与排序键设计、物化视图、跳数索引。

实时指标设计

原子指标与派生指标、指标体系分层（DWD、DWS、ADS）、指标命名规范。

实时数据清洗与标准化、维度退化、数据脱敏实战。

轻度聚合设计、预聚合策略、窗口聚合实战。

聚合预计算

宽表设计、预计算与物化、OLAP查询优化。

Flink与ClickHouse集成

Flink JDBC Sink、Flink ClickHouse Connector、批量写入优化。

实时ETL实战

从Kafka消费数据、Flink清洗转换、写入ClickHouse。

实时大屏指标

PV/UV实时统计、留存率计算、漏斗分析。

实时风控指标

交易风控规则引擎、实时异常检测、滑动窗口计数。

实时推荐指标

用户实时行为序列、实时特征计算、AB实验指标。

数据质量监控

实时数据质量规则、异常告警、数据回溯机制。

Flink并行度调优、Kafka分区优化、ClickHouse查询优化。

监控与告警

Prometheus + Grafana监控Flink、ClickHouse监控指标、自定义告警规则。

元数据管理、血缘追踪、数据生命周期管理。

GitLab CI自动化部署Flink作业、Kubernetes部署Flink、滚动升级策略。

实战项目一：电商实时GMV看板

订单流、支付流、退款流实时聚合，构建GMV大屏。

实战项目二：实时用户画像系统

行为标签、属性标签、实时圈人，构建用户画像引擎。