VIP20

本课程属于：013-MLOps数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据集版本管理实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

为什么需要数据集版本管理

AI项目中的常见数据混乱场景、版本管理的核心价值、与传统代码版本控制的区别。

核心理念动机

核心概念与术语

数据集、快照、标签、分支、提交、回滚、元数据、数据血缘。

主流工具概览

DVC、LakeFS、Pachyderm、Hugging Face Datasets、Delta Lake 的对比与选型。

工具对比选型

DVC 的安装与初始化、与 Git 的协作模式、.dvc 文件与缓存机制。

DVC 基础操作

添加数据集、提交版本、切换版本、推送与拉取远程存储。

数据管道（Pipeline）定义、阶段（Stage）与依赖管理、dvc.yaml 文件详解。

使用 DVC 管理一个图像分类项目的数据集与模型训练流程。

LakeFS 的架构与安装、基于对象存储的 Git 式操作、分支与合并。

LakeFS 基础操作

创建仓库、数据上传与提交、创建与切换分支、合并与回滚。

使用 LakeFS 管理时序数据集的 A/B 测试与数据回滚。

Pachyderm 入门

Pachyderm 的核心概念（Repo、Commit、Branch、Pipeline）、与 Kubernetes 的集成。

Pachyderm入门

Pachyderm 基础操作

创建数据仓库、提交数据、定义数据处理 Pipeline、查看数据血缘。

Pachyderm操作

Pachyderm 实战

构建一个自动化的数据清洗与特征工程 Pipeline。

Pachyderm实战

Hugging Face Datasets 入门

Datasets 库的安装、加载与处理常见 NLP/CV 数据集。

Hugging Face入门

Hugging Face Datasets 进阶

数据集的分割、过滤、映射、格式化与版本控制。

Hugging Face进阶

Hugging Face Datasets 实战

构建并版本化管理一个自定义情感分析数据集。

Hugging Face实战

Delta Lake 入门

Delta Lake 的 ACID 事务特性、Schema 强制与演进、时间旅行（Time Travel）。

Delta Lake入门

Delta Lake 基础操作

创建 Delta 表、读写数据、更新与删除、查看历史版本。

Delta Lake操作

Delta Lake 实战

使用 Delta Lake 管理一个不断增长的日志数据集，并实现数据回滚。

Delta Lake实战

数据存储后端

本地文件系统、AWS S3、Google Cloud Storage、Azure Blob Storage、MinIO 的配置与对比。

数据格式选择

CSV、JSON、Parquet、Avro、TFRecord 的优缺点与适用场景。

数据血缘与元数据管理

使用 DVC 与 LakeFS 追踪数据来源、使用 MLflow 或 Amundsen 管理元数据。

血缘元数据

数据质量与验证

在版本管理流程中集成 Great Expectations 进行数据质量检查。

CI/CD 与数据版本管理

在 Jenkins/GitLab CI 中集成 DVC 或 LakeFS 实现数据流水线自动化。

大规模数据集管理

分片、采样、增量更新策略、数据去重与压缩。

大规模策略

团队协作最佳实践

分支策略（GitFlow 数据版）、Code Review 数据变更、权限管理。

协作最佳实践

数据回滚与灾难恢复

制定数据备份策略、快速回滚方案、数据一致性校验。

案例研究一：自动驾驶场景

自动驾驶场景下的传感器数据版本管理（使用 DVC + S3）。

案例自动驾驶

案例研究二：金融风控场景

金融风控场景下的特征数据版本管理（使用 Delta Lake + Spark）。

案例金融风控

总结与展望

数据集版本管理的未来趋势（数据网格、数据契约、DataOps）。