3. Python 环境准备:Python 安装、虚拟环境搭建、Jupyter Notebook 配置、常用库安装

在开始数据质量检测之前,搭建一个干净、可复现的 Python 开发环境是第一步。本章将引导你完成从 Python 解释器安装到常用数据科学库配置的全流程,并重点介绍虚拟环境与 Jupyter Notebook 的集成方案。

3.1 Python 解释器安装

推荐使用 Python 3.9 及以上版本(当前稳定版为 3.12.x),以兼容最新的数据质量检测库。安装方式根据操作系统略有差异:

操作系统 推荐安装方式 注意事项
Windows 从 python.org 下载安装包,勾选 "Add Python to PATH" 避免使用 Microsoft Store 版本,路径权限易出问题
macOS 使用 Homebrew:brew install python@3.12 系统自带 Python 2/3 不要卸载,用 brew 隔离管理
Linux (Ubuntu/Debian) sudo apt install python3.12 python3.12-venv 同时安装 python3.12-distutils 避免 pip 缺失
验证安装: 打开终端执行 python --version 和 pip --version,确认版本号正确且 pip 可用。

3.2 虚拟环境搭建

虚拟环境可以为每个项目隔离依赖库,避免版本冲突。Python 3.3+ 内置 venv 模块,无需额外安装。以下是标准操作流程:

  1. 创建虚拟环境: python -m venv data_quality_env
  2. 激活虚拟环境:
    • Windows: data_quality_env\Scripts\activate
    • macOS/Linux: source data_quality_env/bin/activate
  3. 退出虚拟环境: deactivate
常见陷阱: 虚拟环境创建后,不要将整个环境目录提交到 Git 仓库。应使用 pip freeze > requirements.txt 导出依赖清单,团队其他成员通过 pip install -r requirements.txt 重建环境。

下面通过一张流程图展示虚拟环境在项目开发中的核心作用:

虚拟环境隔离机制流程图 全局 Python 3.12 全局 site-packages 项目 A 虚拟环境 pandas==2.1.0 项目 B 虚拟环境 pandas==2.0.3 继承 继承 隔离效果 • 项目 A 安装 pandas 2.1.0 不影响项目 B 的 pandas 2.0.3 • 两个项目共享全局 Python 解释器,但依赖库完全独立 • 删除虚拟环境只需删除对应文件夹,不污染全局

3.3 Jupyter Notebook 配置

Jupyter Notebook 是数据探索和原型验证的首选工具。在虚拟环境中安装并注册内核,可以实现环境与 Notebook 的绑定:

# 1. 确保虚拟环境已激活
# 2. 安装 Jupyter
pip install jupyter

# 3. 将当前虚拟环境注册为 Jupyter 内核
python -m ipykernel install --user --name=data_quality_env --display-name="Python (data_quality)"

# 4. 启动 Jupyter Notebook
jupyter notebook
内核切换技巧: 启动 Notebook 后,在 "Kernel" → "Change Kernel" 中选择 "Python (data_quality)",即可确保 Notebook 运行在正确的虚拟环境中。如果忘记注册内核,Notebook 会默认使用全局 Python,导致依赖缺失。

3.4 常用库安装

数据质量检测涉及数据读取、统计分析、可视化与报告生成。以下库是课程的核心依赖:

库名 版本建议 用途 安装命令
pandas >=2.0.0 数据读取、清洗、统计描述 pip install pandas
numpy >=1.24.0 数值计算、缺失值处理 pip install numpy
great_expectations >=0.18.0 数据质量断言与验证框架 pip install great_expectations
pandas-profiling >=3.6.0 自动化数据质量报告生成 pip install pandas-profiling
matplotlib / seaborn 最新稳定版 缺失值、异常值可视化 pip install matplotlib seaborn

批量安装推荐使用 requirements.txt 文件:

# requirements.txt
pandas>=2.0.0
numpy>=1.24.0
great_expectations>=0.18.0
pandas-profiling>=3.6.0
matplotlib>=3.7.0
seaborn>=0.12.0
jupyter>=1.0.0
ipykernel>=6.25.0

# 在虚拟环境中执行
pip install -r requirements.txt

3.5 环境验证脚本

安装完成后,运行以下脚本验证环境是否就绪:

import sys
import pandas as pd
import numpy as np
import great_expectations as ge
import matplotlib.pyplot as plt

print(f"Python 版本: {sys.version}")
print(f"pandas 版本: {pd.__version__}")
print(f"numpy 版本: {np.__version__}")
print(f"Great Expectations 版本: {ge.__version__}")

# 快速测试:创建 DataFrame 并检查
df = pd.DataFrame({'A': [1, 2, None], 'B': [4, None, 6]})
print("\n缺失值统计:")
print(df.isnull().sum())
print("\n环境准备完成!")
推荐工作流: 每次开始新项目时,先创建虚拟环境 → 安装依赖 → 注册 Jupyter 内核 → 启动 Notebook 并切换内核。这套流程可以避免 90% 以上的依赖冲突问题。