VIP20
本课程属于：022-生物样本元信息治理 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

元数据Pipeline快照版本与数据恢复

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
元数据Pipeline概述
定义 · 重要性及典型应用场景
Pipeline元数据
02
快照概念详解
全量快照 · 增量快照 · 差异快照的区别
快照概念详解全量快照
03
可重复性设计原则
幂等性 · 版本控制与回溯机制
可重复性设计原则幂等性
04
Pipeline组件解构
数据源 · 转换层 · 存储层
Pipeline组件解构
05
元数据模型设计
实体 · 属性 · 关系
元数据模型设计实体
06
快照存储策略
HDFS · S3 · 对象存储的选择与优化
快照存储策略HDFS
07
增量快照实现
基于日志的变更数据捕获（CDC）
增量快照实现CDC
08
全量快照最佳实践
分批处理与断点续传
全量快照最佳实践分批处理
09
快照一致性保证
读锁 · 写锁与两阶段提交
快照一致性保证读锁
10
Pipeline状态管理
Checkpoint · Savepoint机制
Pipeline状态管理
11
数据血缘追踪
从源头到目标的链路记录
数据血缘追踪从源头到目标的链…
12
元数据版本化
Schema演化与向后兼容
元数据版本化Schema
13
调度框架对比
Airflow · Dagster · Prefect的选型
调度框架对比Airflow
14
DAG编排实战
定义任务依赖与重试策略
DAG编排实战
15
快照回滚实现
使用时间旅行查询恢复数据
快照回滚实现使用时间旅行查询…
16
性能优化
并行度 · 批量大小与内存管理
性能优化并行度
17
监控与告警
Prometheus + Grafa…
监控告警
18
数据质量校验
快照前后一致性校验规则
数据质量校验快照前后一致性校…
19
安全与权限
ACL · 加密传输与审计日志
安全权限
20
异构数据源集成
关系型 · 非关系型 · 文件型
异构数据源集成关系型
21
增量计算引擎
Spark Structured S…
增量计算引擎Spark
22
存储成本控制
数据压缩 · 生命周期管理与冷热分层
存储成本控制数据压缩
23
快照生命周期
从生成到归档再到清理的策略
快照生命周期从生成到归档再到…
24
测试策略
单元测试 · 集成测试与端到端测试
测试策略单元测试
25
CI/CD集成
GitOps 方式管理Pipelin…
CI/CD集成
26
灾难恢复
异地备份与RTO/RPO指标
灾难恢复RTO/RPO
27
元数据治理
Data Catalog 与 数据字…
元数据治理Data
28
案例研究
电商订单快照Pipeline实现
案例研究Pipeline
29
案例研究
日志分析快照Pipeline实现
案例研究Pipeline
30
未来趋势
数据网格 · OpenLineage与云原生快照
未来趋势数据网格