VIP20

本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数据产品架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据产品概述

定义、商业价值与典型应用场景：风控、推荐、实时监控。

实时数据产品架构总览

Lambda、Kappa、流批一体架构对比与选型指南。

数据采集层设计

日志采集(Filebeat/Flume)、CDC(Canal/Debezium)、消息队列选型(Kafka/Pulsar)。

消息队列核心原理

Kafka分区机制、ACK/ISR可靠性保证、At-least-once/Exactly-once消费模型。

实时计算引擎选型

Flink vs Spark Streaming vs Storm 核心特性对比与适用场景。

Flink基础概念

DataStream API、Event Time/Processing Time、Watermark机制。

Flink时间语义

Flink状态管理与容错

State Backend、Checkpoint/Savepoint原理、端到端Exactly-once。

实时ETL设计

数据清洗、字段映射、维表关联(Async IO/广播流)、数据质量监控。

实时计算中的窗口操作

Tumbling/Sliding/Session Window，迟到数据处理策略。

窗口迟到数据

实时数据存储选型

HBase、Redis、Elasticsearch、ClickHouse、Druid 实时写入与查询特性。

实时数仓分层设计

ODS/DWD/DWS/ADS各层职责，实时维度建模方法论。

实时指标计算

PV/UV、去重计数(HyperLogLog/Bitmap)、滑动窗口聚合。

复杂事件处理(CEP)

Flink CEP模式匹配、超时检测、风控场景实战。

实时数据服务接口设计

高并发查询优化、预聚合、缓存策略(本地+分布式)。

实时数据产品可视化

实时大屏设计原则、WebSocket推送、ECharts/Grafana集成。

可视化大屏

实时数据质量保障

数据延迟监控、丢失检测、一致性校验(比对+告警)。

实时任务运维与调优

Flink作业参数调优、反压处理、资源隔离与动态扩缩容。

实时数据血缘与元数据管理

数据血缘追踪、字段级影响分析、元数据服务设计。

血缘元数据

实时数据安全与权限控制

数据脱敏、行级/列级权限、审计日志。

实时数据产品测试策略

单元测试、集成测试、混沌工程、回放测试。

实时数据产品灰度发布与回滚

蓝绿部署、金丝雀发布、版本兼容性设计。

实时数据产品监控告警体系

指标采集(Prometheus)、告警规则、通知(钉钉/企微)。

实时数据产品成本优化

资源利用率分析、Spot实例使用、冷热数据分离。

实时数据产品文档与知识库

架构文档、运维手册、FAQ、故障复盘模板。

文档知识库

案例：实时风控系统架构设计

特征计算 + 规则引擎 + 决策流，风控场景全链路。

案例：实时个性化推荐系统

用户画像、实时特征、召回排序架构设计。

案例：实时监控与异常检测系统

时序数据 + 异常算法 + 告警，运维监控场景。

监控异常检测

案例：实时数据大屏与BI系统

OLAP引擎 + 预聚合 + 可视化，BI分析场景。

实时数据产品未来趋势

云原生实时计算、Serverless化、AI与实时数据融合。

趋势云原生

课程总结与实战项目

从0到1搭建实时数据产品，涵盖采集、计算、存储、服务全链路。

实战全链路