VIP14

本课程属于：028-实验数据工程与质量治理 生物技术_生物工程与智能实验室 · 共 14 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据版本控制与回溯方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

版本控制概述

为什么需要数据版本控制？核心概念与业务场景，奠定数据治理的基石。

数据血缘与元数据

什么是数据血缘？元数据管理的基础，构建可追溯的数据地图。

元数据血缘

Git-LFS 原理与实践

Git Large File Storage 的安装、配置与使用，高效管理大文件版本。

DVC (Data Version Control) 的安装与初始化，开启数据版本化第一步。

DVC 数据追踪

使用 DVC 追踪数据集和模型文件，实现数据变更的精准记录。

追踪数据集

DVC 远程存储

配置 S3、GCS、本地文件系统作为远程存储，安全备份数据版本。

DVC 版本切换

checkout 与 checkout 不同版本的数据，灵活穿梭于历史状态。

定义数据流水线，实现可复现的机器学习流程，自动化版本迭代。

DVC 与 Git 协同

如何将 DVC 与 Git 分支策略结合，实现代码与数据统一管理。

Delta Lake 基础

Delta Lake 的架构与 ACID 事务特性，构建可靠数据湖表格式。

Delta Lake 时间旅行

使用时间旅行查询历史数据快照，轻松回溯任意时刻数据。

时间旅行快照

Delta Lake 版本管理

VACUUM、OPTIMIZE 与版本清理策略，保持存储性能与合规。

Apache Iceberg 入门

Iceberg 的表格式与快照隔离，解锁开放数据湖版本能力。

Iceberg 分支与标签

使用分支和标签管理数据版本，类似 Git 的灵活语义。

Nessie 数据湖

基于 Git 的 Data Lakehouse 版本控制，革新数据协作方式。

Nessie 分支操作

创建、合并、删除分支，类似 Git 操作，实现数据并行开发。

数据快照与回滚

手动创建快照与回滚到指定时间点，保障数据安全底线。

数据校验与完整性

Checksum、哈希校验与数据完整性保障，防止静默损坏。

数据备份策略

全量备份、增量备份与差异备份方案，构建多层防护网。

数据恢复演练

从备份中恢复数据，模拟灾难恢复，验证备份有效性。

数据版本冲突解决

多人协作时的版本冲突与合并策略，保持数据一致性。

数据审计与合规

版本控制如何满足 GDPR、SOX 等合规要求，完善审计线索。

数据湖仓一体

Lakehouse 架构下的版本控制统一方案，融合数据湖与数仓优势。

Lakehouse架构

特征存储版本控制

Feature Store 中的特征版本管理，支撑模型持续迭代。

特征Feature Store

模型版本控制

MLflow Model Registry 与数据版本联动，实现端到端可复现。

数据管道版本化

Airflow DAG 版本与数据版本绑定，调度与数据协同演进。

数据目录与发现

Amundsen、DataHub 与版本元数据集成，提升数据可发现性。

大规模数据版本控制

PB 级数据场景下的性能优化，应对海量版本挑战。

大规模性能

数据版本控制工具选型

DVC vs Delta Lake vs Iceberg vs Nessie，对比选型指南。

构建端到端的数据版本控制与回溯系统，融合全栈技能。