VIP20
本课程属于：052-数据平台资产运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

流批一体数据资产目录与运营治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
流批一体概述
流批一体概念、发展历程、与传统架构对比、核心优势。
概念演进对比
02
资产运营基础
数据资产定义、资产分类、资产生命周期、运营目标。
定义分类生命周期
03
实时数据采集
Kafka原理、Flume集成、CDC技术、数据接入规范。
KafkaFlumeCDC
04
批量数据集成
Sqoop/DataX使用、离线同步策略、全量增量同步。
SqoopDataX同步
05
流批存储选型
HBase vs ClickHouse、Iceberg vs Hudi、存储分层设计。
HBaseClickHouseIceberg
06
实时计算引擎
Flink核心概念、时间语义、状态管理、Checkpoint机制。
Flink时间语义状态
07
批量计算引擎
Spark SQL优化、Shuffle调优、动态资源分配。
SparkShuffle资源
08
流批统一ETL
Lambda架构演进、Kappa架构、流批一体ETL设计模式。
LambdaKappaETL
09
资产目录构建
元数据采集、血缘分析、标签体系、搜索与发现。
元数据血缘标签
10
资产质量监控
数据质量六维度、实时监控规则、异常告警机制。
质量监控告警
11
资产安全管控
数据脱敏、访问控制、审计日志、加密策略。
脱敏访问控制审计
12
资产价值评估
成本模型、收益模型、ROI计算、价值标签。
成本收益ROI
13
实时资产运营
实时指标看板、实时资产画像、实时决策支持。
看板画像决策
14
批量资产运营
离线报表体系、T+1资产分析、周期性运营报告。
报表T+1周期
15
流批统一调度
Airflow/DolphinScheduler、DAG设计、依赖管理。
AirflowDolphinDAG
16
数据湖实践
Lakehouse架构、ACID事务、Time Travel、Schema Evolution。
LakehouseACIDTime Travel
17
实时数仓建设
分层设计（ODS/DWD/DWS/ADS）、实时维度建模。
ODSDWD维度建模
18
批量数仓建设
星型模型、雪花模型、缓慢变化维、拉链表。
星型雪花SCD
19
流批一体API设计
统一查询接口、Flink Table API、Spark Dataset。
APITable APIDataset
20
资产运营平台
功能架构、技术选型、微服务设计、前后端分离。
架构微服务前后端
21
实时资产同步
双写一致性、Exactly-Once语义、幂等性设计。
一致性Exactly-Once幂等
22
批量资产回溯
历史数据修复、回溯策略、数据补偿机制。
修复回溯补偿
23
流批混合计算
Lambda架构实战、流批结果合并、数据对账。
混合合并对账
24
资产成本优化
存储压缩、计算资源弹性、冷热数据分离。
压缩弹性冷热
25
资产治理体系
组织架构、制度规范、流程管理、工具链。
治理规范流程
26
实时资产监控
Prometheus+Grafana、Flink Metrics、自定义告警。
PrometheusGrafanaMetrics
27
批量资产审计
数据校验、对账系统、差异分析、合规检查。
校验对账合规
28
流批一体迁移
从传统架构迁移、平滑过渡策略、灰度发布。
迁移过渡灰度
29
资产运营案例
金融风控场景、电商推荐场景、物联网场景。
金融电商IoT
30
未来趋势
AI+数据资产、Data Mesh、实时数据编织、数据虚拟化。
AIData Mesh虚拟化