📚 课程目录第3章 DVC入门

3、DVC入门：安装与初始化，将数据集纳入版本管理的第一步

说实话，很多团队在AI项目里翻车，翻就翻在数据版本管理上。

代码有Git管着，出了问题能回滚。但数据集呢？几百G的图片、标注文件，改了一版又一版，最后谁都不知道当前用的是哪份数据。我见过不止一个项目，因为数据版本混乱，模型训练结果无法复现，白白浪费了几周时间。

DVC（Data Version Control）就是来解决这个问题的。它不存数据本身，而是存数据的“指针”和“变更记录”。说白了，它让Git管代码，让DVC管数据，各司其职。

3.1 安装DVC：选对路子，少踩坑

安装DVC其实很简单，但不同场景下我推荐的方式不太一样。

3.1.1 pip安装（最推荐）

我个人习惯用pip，干净利落，还能指定版本。

pip install dvc

如果你想用S3、GCS、Azure这些远程存储，记得带上对应的扩展包：

pip install "dvc[s3]"   # 支持AWS S3
pip install "dvc[gcs]"  # 支持Google Cloud Storage
pip install "dvc[azure]" # 支持Azure Blob Storage
pip install "dvc[all]"   # 全都要

3.1.2 conda安装

如果你在用Anaconda管理环境，也可以用conda：

conda install -c conda-forge dvc

3.1.3 验证安装

装完之后，跑一下这个命令，看看版本号：

dvc --version

如果能看到类似 3.x.x 的输出，说明装好了。

💡 我的建议： 尽量用虚拟环境装DVC，别直接怼到系统Python里。我曾经在一个共享服务器上没注意，结果DVC版本冲突搞得大家都不痛快。

3.2 初始化DVC：让项目长出“数据神经”

安装完DVC，下一步就是初始化。这一步会在你的项目里创建一个 .dvc 目录，里面存着DVC的配置和缓存信息。

3.2.1 标准初始化

进入你的项目根目录，执行：

cd your-project/
git init          # 如果还没初始化Git
dvc init

执行完 dvc init 后，你会看到类似这样的输出：

Initialized DVC repository.
You can now commit the changes to Git.

这时候，你的项目结构会多出这些东西：

your-project/
├── .dvc/           # DVC配置和缓存目录
├── .gitignore      # DVC自动添加的忽略规则
└── ...             # 你的其他文件

3.2.2 把初始化结果提交到Git

DVC初始化完成后，记得把 .dvc 目录提交到Git：

git add .dvc .gitignore
git commit -m "初始化DVC"

⚠️ 注意： .dvc 目录里存的是配置和缓存路径，不是真正的数据文件。所以它很小，放心提交到Git。但 .dvc/cache 目录默认会被 .gitignore 忽略，别手动去改这个规则。

3.3 把数据集纳入版本管理：核心操作

初始化完DVC，接下来就是重头戏——把数据集“交给”DVC管理。

3.3.1 添加数据集

假设你的数据集在 data/ 目录下：

dvc add data/

执行完这条命令，你会看到：

100% Adding... |████████████████| 1/1 [00:00,  1.26file/s]
To track the changes with git, run:

    git add data.dvc .gitignore

这时候，项目里会多出一个 data.dvc 文件。这个文件就是数据集的“指针”，它记录了数据集的哈希值、大小等信息。

3.3.2 提交指针文件到Git

git add data.dvc .gitignore
git commit -m "添加数据集 v1.0"

嗯，这里要注意：data/ 目录本身不会被提交到Git，Git只跟踪 data.dvc 这个小小的指针文件。真正的数据文件被DVC移到了缓存里。

3.3.3 查看状态

你可以随时用 dvc status 查看数据集的变更情况：

dvc status

如果数据没有变化，它会告诉你 Data and pipelines are up to date.

  📌 核心逻辑： DVC不存数据，只存数据的“指纹”（MD5哈希）。你提交到Git的是 .dvc 文件，不是数据本身。这样既保留了版本历史，又不会让Git仓库变得臃肿。

3.4 知识体系：DVC数据版本管理流程

下面这张图，把DVC的核心流程串起来了。你看一遍就能明白：

3.5 常见问题与避坑指南

刚开始用DVC，有几个坑我踩过，你注意一下：

问题	原因	解决方法
`dvc add` 后数据没变化	文件内容没变，哈希值相同	DVC自动跳过，不会生成新版本
Git仓库变得很大	不小心把 `data/` 提交到了Git	检查 `.gitignore`，确保数据目录被忽略
`dvc status` 报错	缓存文件被误删或移动	用 `dvc checkout` 从远程恢复
多人协作时数据不一致	有人直接修改了缓存里的文件	永远用 `dvc add` 或 `dvc commit` 操作数据

⚠️ 我曾经踩过的坑： 有一次我手快，直接在 data/ 目录里删了几个文件，然后 git add . 提交了。结果队友拉下来后，数据对不上，模型训练直接崩了。后来我养成了习惯：每次改数据前，先 dvc status 看一眼，确认当前版本。

3.6 小结：你学会了什么？

这一章，我们走完了DVC的入门三步曲：

安装：用pip或conda装好DVC，带上你需要的远程存储扩展
初始化：在项目里跑 dvc init，创建数据管理的基础设施
添加数据集：用 dvc add 把数据纳入版本管理，生成 .dvc 指针文件

说白了，DVC就是给数据装了个“Git”。你不需要改变工作习惯，只需要多敲几个命令，就能让数据版本变得清晰可控。