VIP20
本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时数据服务目录搭建

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导学与实时数据目录概述
什么是实时数据服务目录、为什么需要它、课程目标与学习路径。
导学概念
02
核心概念与架构设计
元数据、数据血缘、服务注册与发现，整体架构分层（接入层、存储层、服务层）。
架构分层
03
技术选型与工具链
主流实时计算引擎（Flink/Spark Streaming）、存储选型（Elasticsearch/MySQL/Redis）、API网关（Kong/Nginx）。
FlinkES网关
04
环境搭建与基础配置
Docker Compose搭建开发环境、网络规划、端口映射、基础镜像准备。
Docker环境
05
元数据模型设计
数据源元数据、服务元数据、字段级元数据、标签系统设计。
模型标签
06
数据源接入层开发（上）
基于Flink CDC实时采集MySQL Binlog，解析为统一元数据事件。
CDCFlink
07
数据源接入层开发（下）
处理Schema变更、断线重连、Exactly-Once语义保证。
容错语义
08
元数据存储层实现
Elasticsearch索引设计、Mapping优化、分片策略、数据生命周期管理。
ES索引
09
服务注册与发现机制
基于Redis的实时服务注册表、心跳检测、服务健康状态管理。
Redis健康
10
实时数据血缘构建
Flink算子链中提取血缘关系、存储为图结构、支持上游/下游追溯。
血缘图
11
数据目录搜索API开发
基于Spring Boot构建RESTful API、全文检索、过滤、排序、分页。
APISpring
12
数据目录搜索API优化
查询性能调优、缓存策略（本地缓存+Redis）、慢查询治理。
缓存调优
13
数据目录可视化前端（上）
React + Ant Design Pro搭建基础框架、路由设计、状态管理。
ReactAntd
14
数据目录可视化前端（中）
数据源列表页、服务详情页、血缘关系图（D3.js/Vis.js）。
D3可视化
15
数据目录可视化前端（下）
搜索交互优化、实时数据刷新、用户反馈与收藏功能。
交互收藏
16
实时数据质量监控
基于Flink CEP检测元数据异常、数据完整性校验、告警通知（钉钉/邮件）。
CEP告警
17
数据目录权限管理
RBAC模型设计、API鉴权（JWT/OAuth2）、数据源级别权限控制。
RBAC鉴权
18
数据目录审计日志
记录所有元数据变更、查询操作、用户行为，支持回放与分析。
审计日志
19
高可用与容灾设计
Flink Checkpoint机制、ES集群跨机房部署、Redis Sentinel/Cluster。
HA容灾
20
性能压测与优化
JMeter压测API、Flink背压分析、ES写入/查询性能调优。
压测背压
21
数据目录与数据治理平台集成
对接Atlas/DataHub、同步元数据、统一数据字典。
Atlas治理
22
数据目录与数据开发平台集成
对接Airflow/DolphinScheduler、任务血缘自动注入。
调度血缘
23
数据目录与BI工具集成
对接Superset/Tableau、数据源自动发现、字段级描述推送。
BISuperset
24
实时数据目录的运维与监控
Prometheus + Grafana监控指标体系、日志聚合（ELK）。
监控Grafana
25
案例实战：电商实时数据目录（上）
需求分析、数据源梳理、架构设计。
电商实战
26
案例实战：电商实时数据目录（中）
Flink作业开发、元数据写入、API联调。
Flink联调
27
案例实战：电商实时数据目录（下）
前端展示、血缘分析、质量监控上线。
上线血缘
28
数据目录的演进与扩展
支持多租户、跨集群联邦查询、AI辅助元数据推荐。
多租户AI
29
常见问题与避坑指南
Flink状态膨胀、ES索引滚动、Redis内存溢出、API超时。
避坑实战
30
课程总结与未来展望
实时数据目录的价值回顾、技术趋势（Data Mesh、Active Metadata）、学习路径建议。
趋势Data Mesh