VIP20

本课程属于：020-实时指标平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时指标平台从零搭建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与项目全景

实时指标平台是什么、为什么需要它、课程目标与学习路径、技术栈概览（Flink、Kafka、Doris、Redis）。

需求分析与架构设计

核心业务指标定义（PV/UV/GMV）、数据流架构设计、技术选型对比（Lambda vs Kappa）、模块划分。

开发环境搭建

Docker Compose 一键部署、Flink 集群配置、Kafka 安装与 Topic 创建、Doris 建表与 Redis 配置。

数据模拟层开发

Python 模拟用户行为日志、JSON 数据格式定义、Kafka Producer 发送数据、数据速率控制。

Flink 基础与开发环境

Flink 编程模型（Source/Transformation/Sink）、本地 IDE 调试、Maven 项目搭建。

Flink 实时 ETL 清洗

接入 Kafka Source、数据解析与字段补全、脏数据过滤与侧输出流、写入 Kafka Sink。

Flink 窗口计算与聚合

滚动窗口与滑动窗口、Event Time 与 Watermark、PV/UV 实时统计、状态后端配置。

Flink 复杂事件处理（CEP）

CEP 模式定义、用户行为序列匹配（如：浏览->加购->下单）、超时事件处理。

Flink 维表关联与异步 I/O

Redis 维表存储用户画像、AsyncIO 实现高并发关联、维表热更新策略。

Flink 容错与状态一致性

Checkpoint 机制详解、Savepoint 与版本升级、Exactly-Once 语义保证。

Doris 基础与数据模型

Doris 架构简介、聚合模型与明细模型、分区与分桶策略、数据导入方式。

Flink 写入 Doris

Flink-Doris-Connector 配置、Stream Load 原理、批量写入与去重策略、写入性能调优。

写入Connector

实时指标存储设计

Doris 宽表设计、预聚合表（Rollup）设计、物化视图加速查询、TTL 与数据生命周期。

Redis 在实时平台中的应用

缓存热点数据、布隆过滤器防穿透、Redis Stream 实现消息队列、分布式锁。

后端服务层开发（Spring Boot）

项目初始化与分层架构、RESTful API 设计、MyBatis-Plus 操作 Doris。

Spring Boot后端

后端核心接口实现

实时指标查询接口（PV/UV/留存）、趋势图接口（时间序列）、多维下钻接口（维度过滤）。

后端缓存策略与性能优化

Redis 缓存查询结果、本地缓存 Caffeine、缓存穿透/击穿/雪崩解决方案。

WebSocket 实时推送

WebSocket 握手与心跳、后端推送实时指标变化、前端实时更新图表。

WebSocket推送

前端项目搭建（Vue3 + Vite）

项目初始化、Element Plus 组件库集成、Axios 封装与 API 管理。

前端核心页面开发

实时大屏 Dashboard、指标卡片组件、趋势折线图（ECharts）、数据表格与分页。

前端实时数据展示

WebSocket 客户端实现、ECharts 动态更新、大屏自适应布局、主题切换。

实时自适应

前端多维分析交互

维度选择器（时间/渠道/地域）、联动下钻（点击图表更新其他组件）、数据导出。

数据质量监控与告警

Flink 指标监控（延迟/吞吐）、自定义告警规则（阈值/趋势）、钉钉/邮件告警通知。

全链路压测与性能调优

压测工具选型（JMeter/Locust）、Flink 并行度调优、Doris 查询优化、Redis 性能瓶颈。

日志收集与链路追踪

ELK 收集 Flink 日志、SkyWalking 分布式追踪、常见问题排查思路。

CI/CD 与自动化部署

GitLab CI 流水线、Docker 镜像构建、Kubernetes 部署 Flink 作业、灰度发布策略。

安全与权限控制

API 鉴权（JWT）、数据脱敏、操作审计日志、网络安全组配置。

多租户与资源隔离

Flink 资源池隔离、Doris 多租户（Workload Group）、Redis 实例隔离、数据权限行级过滤。

多租户隔离

生产环境踩坑实录

Flink OOM 排查、Kafka 消息积压处理、Doris 导入失败恢复、Redis 大 Key 问题。

课程总结与进阶方向

项目复盘、实时数仓演进趋势（Streaming Lakehouse）、推荐学习资源、开源社区参与。