2. Python 数据质量检查环境搭建

在开始编写数据质量检查脚本之前，需要搭建一个干净、可复现的 Python 开发环境。本章将引导你完成从 Python 安装到 Jupyter Notebook 配置的完整流程，确保后续所有数据质量检查任务都能在统一的环境中稳定运行。

2.1 Python 安装与版本选择

数据质量检查推荐使用 Python 3.9 及以上版本。Python 3.8 已于 2024 年 10 月终止安全更新，不建议在新项目中使用。

2.2 pip 配置与加速

pip 是 Python 的官方包管理器。安装 Python 后，pip 会自动附带。建议立即配置国内镜像源以加速依赖安装。

# 临时使用清华镜像源安装单个包
pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

# 永久配置镜像源（推荐）
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 查看当前配置
pip config list

2.3 虚拟环境创建与管理

虚拟环境为每个项目提供独立的 Python 解释器和包依赖，避免不同项目间的版本冲突。数据质量检查项目应始终使用虚拟环境。

2.3.1 使用 venv（Python 内置）

# 创建虚拟环境（项目根目录下执行）
python -m venv venv

# 激活虚拟环境
# Windows (CMD/PowerShell)
venv\Scripts\activate

# macOS/Linux
source venv/bin/activate

# 退出虚拟环境
deactivate

2.3.2 使用 conda（Anaconda 用户）

# 创建名为 dq_env 的虚拟环境，指定 Python 3.11
conda create -n dq_env python=3.11

# 激活环境
conda activate dq_env

# 退出环境
conda deactivate

# 生成依赖清单
pip freeze > requirements.txt

# 从清单恢复环境
pip install -r requirements.txt

2.4 Jupyter Notebook/Lab 安装与使用

Jupyter 是数据质量检查的交互式开发利器，支持代码、文档、可视化结果混排输出，非常适合数据探索和规则验证。

2.4.1 安装 Jupyter

# 在虚拟环境中安装
pip install jupyterlab notebook

# 验证安装
jupyter --version

2.4.2 启动与基本操作

# 启动 Jupyter Lab（推荐，功能更丰富）
jupyter lab

# 启动经典 Notebook
jupyter notebook

启动后，浏览器会自动打开 Jupyter 界面。在界面中，你可以创建新的 Notebook 文件（.ipynb），每个 Notebook 由多个单元格组成，支持代码、Markdown 和原始文本三种类型。

2.5 环境搭建完整流程（SVG 架构图）

下图展示了从零开始搭建数据质量检查环境的完整步骤与各组件之间的关系：

2.6 环境验证清单

完成上述步骤后，执行以下验证命令，确保环境搭建正确无误：