VIP20

本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时指标口径管理与数据质量治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时指标概述

什么是实时指标、实时指标与离线指标的区别、实时指标的应用场景。

实时计算框架对比（Flink vs Spark Streaming vs Storm）、消息队列选型（Kafka vs Pulsar）、存储选型（HBase vs Redis vs ClickHouse）。

Flink架构、Flink运行环境搭建、Flink DataStream API入门、Flink Table & SQL API入门。

Flink时间语义

Event Time、Processing Time、Ingestion Time、Watermark机制详解。

时间Watermark

Flink窗口机制

滚动窗口、滑动窗口、会话窗口、全局窗口、窗口函数的使用。

Flink状态管理

Keyed State与Operator State、状态后端（Memory、FS、RocksDB）、状态一致性。

Flink容错机制

Checkpoint原理、Savepoint原理、端到端Exactly-Once语义。

容错一致性

Flink Connector

Kafka Connector、JDBC Connector、Elasticsearch Connector、自定义Source/Sink。

连接器集成

实时指标数据模型

维度建模在实时场景下的应用、宽表设计、预聚合设计。

数据清洗、数据转换、数据补全、数据过滤的实时实现。

实时指标计算模式

Count、Sum、Avg、Max/Min、Distinct Count（HyperLogLog）、TopN。

实时指标存储策略

Redis数据结构选择、HBase RowKey设计、ClickHouse表引擎选择。

实时指标查询优化

预计算与物化视图、异步IO、维表关联优化（LRU Cache、热数据缓存）。

实时指标监控与告警

指标监控体系（延迟、吞吐量、数据质量）、告警规则设计。

实时指标数据质量保障

数据完整性校验、数据一致性校验、异常数据检测与修复。

实时指标血缘分析

数据血缘的重要性、Flink lineage追踪、元数据管理。

血缘元数据

实时指标版本管理

指标定义版本化、SQL脚本版本控制、回滚策略。

实时指标测试策略

单元测试、集成测试、性能测试、混沌工程在实时系统中的应用。

实时指标部署与运维

Flink on YARN/K8s部署、资源动态调整、日志与监控集成。

实时指标性能调优

并行度设置、算子链优化、数据倾斜处理、反压机制与处理。

实时指标案例：用户行为实时分析

PV/UV、留存、转化率等核心指标的实时计算与落地。

案例用户行为

实时指标案例：实时风控系统

交易异常检测、规则引擎与实时决策。

实时指标案例：实时数仓

DWD、DWS、ADS分层建设与实时数据流转。

实时指标案例：实时推荐系统

用户画像实时更新、实时特征计算与推荐引擎。

实时指标案例：实时监控大屏

秒级刷新、数据可视化与实时监控面板。

实时指标进阶：CEP

复杂事件处理在实时指标中的模式匹配与规则应用。

实时指标进阶：实时ML推理

Flink + PMML/ONNX 实现实时机器学习模型推理。

实时指标进阶：多流Join

Regular Join、Interval Join、Window Join 实战。

实时指标进阶：实时数据湖

Flink + Iceberg/Hudi 架构与实践。

进阶数据湖

实时指标未来趋势

云原生实时计算、Serverless Flink、AI for Real-time。

趋势云原生