VIP20

本课程属于：015-实时数据产品设计 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数据产品架构拆解

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据产品概述

定义、商业价值与典型应用场景：风控、推荐、实时监控，开启实时数据思维。

实时计算技术选型

Flink vs Spark Streaming vs Kafka Streams，多维度对比与适用场景深度剖析。

数据采集层架构

日志采集（Filebeat/Flume）、消息队列Kafka高可用设计，保障数据管道稳定。

实时计算引擎核心

Flink架构剖析：JobManager/TaskManager职责、数据流与算子链原理。

状态管理与容错

状态后端（Memory/Filesystem/RocksDB）对比，Checkpoint与Savepoint机制详解。

时间语义与水位线

Event Time、Processing Time、Ingestion Time，Watermark生成与传播策略。

时间Watermark

滚动、滑动、会话窗口原理与实战，窗口函数在实时聚合中的应用。

实时数据分层架构

ODS、DWD、DWS、ADS在实时数仓中的映射与分层设计方法论。

实时ETL与数据清洗

从Kafka到Flink的实时清洗、过滤、补全、去重，构建高质量数据流。

实时维表关联

维表存储在Redis/HBase/MySQL，Flink Async IO与维表Join最佳实践。

实时指标计算

PV/UV、去重计数（HyperLogLog）、漏斗分析、留存分析等核心指标实现。

实时数据写入层

写入Kafka、ClickHouse、HBase、Elasticsearch的选型对比与写入优化。

实时数据服务层

实时API设计、Redis缓存策略、ClickHouse物化视图实现查询加速。

实时数据质量保障

数据延迟监控、丢失检测、一致性校验（Exactly-Once）体系构建。

实时监控与告警

基于Prometheus+Grafana的实时任务监控，自定义告警规则与运维实践。

案例一：实时用户画像系统

架构设计与实现，标签计算、实时行为映射与画像服务。

案例二：实时风控引擎

架构设计与实现，规则引擎、实时特征计算与决策流。

案例三：实时推荐系统

架构设计与实现，实时特征、召回排序与A/B测试。

案例四：实时大屏与BI看板

架构设计与实现，数据可视化、实时刷新与交互设计。

案例五：实时数据中台

架构设计与实现，数据服务化、复用与治理。

案例六：实时日志分析系统

架构设计与实现，海量日志采集、解析与实时检索。

案例七：实时物联网数据处理平台

架构设计与实现，设备数据接入、规则引擎与存储。

案例八：实时金融交易监控系统

架构设计与实现，交易指标、异常检测与合规监控。

案例九：实时游戏数据分析平台

架构设计与实现，玩家行为、经济系统与实时运营。

案例十：实时社交媒体舆情监控

架构设计与实现，文本流处理、情感分析与预警。

案例十一：实时供应链可视化平台

架构设计与实现，物流追踪、库存可视与异常调度。

供应链案例

案例十二：实时医疗健康监控系统

架构设计与实现，生理指标采集、告警与数据闭环。

案例十三：实时智能交通调度系统

架构设计与实现，车流数据、信号优化与实时调度。

案例十四：实时能源管理平台

架构设计与实现，能耗采集、预测与动态调配。

案例十五：实时视频内容审核系统

架构设计与实现，视频流处理、AI审核与实时决策。