3. Python 环境准备:Python 安装、虚拟环境搭建、Jupyter Notebook 配置、常用库安装
在开始数据质量检测之前,搭建一个干净、可复现的 Python 开发环境是第一步。本章将引导你完成从 Python 解释器安装到常用数据科学库配置的全流程,并重点介绍虚拟环境与 Jupyter Notebook 的集成方案。
3.1 Python 解释器安装
推荐使用 Python 3.9 及以上版本(当前稳定版为 3.12.x),以兼容最新的数据质量检测库。安装方式根据操作系统略有差异:
| 操作系统 | 推荐安装方式 | 注意事项 |
|---|---|---|
| Windows | 从 python.org 下载安装包,勾选 "Add Python to PATH" | 避免使用 Microsoft Store 版本,路径权限易出问题 |
| macOS | 使用 Homebrew:brew install python@3.12 |
系统自带 Python 2/3 不要卸载,用 brew 隔离管理 |
| Linux (Ubuntu/Debian) | sudo apt install python3.12 python3.12-venv |
同时安装 python3.12-distutils 避免 pip 缺失 |
验证安装: 打开终端执行
python --version 和 pip --version,确认版本号正确且 pip 可用。
3.2 虚拟环境搭建
虚拟环境可以为每个项目隔离依赖库,避免版本冲突。Python 3.3+ 内置 venv 模块,无需额外安装。以下是标准操作流程:
- 创建虚拟环境:
python -m venv data_quality_env - 激活虚拟环境:
- Windows:
data_quality_env\Scripts\activate - macOS/Linux:
source data_quality_env/bin/activate
- Windows:
- 退出虚拟环境:
deactivate
常见陷阱: 虚拟环境创建后,不要将整个环境目录提交到 Git 仓库。应使用
pip freeze > requirements.txt 导出依赖清单,团队其他成员通过 pip install -r requirements.txt 重建环境。
下面通过一张流程图展示虚拟环境在项目开发中的核心作用:
3.3 Jupyter Notebook 配置
Jupyter Notebook 是数据探索和原型验证的首选工具。在虚拟环境中安装并注册内核,可以实现环境与 Notebook 的绑定:
# 1. 确保虚拟环境已激活
# 2. 安装 Jupyter
pip install jupyter
# 3. 将当前虚拟环境注册为 Jupyter 内核
python -m ipykernel install --user --name=data_quality_env --display-name="Python (data_quality)"
# 4. 启动 Jupyter Notebook
jupyter notebook
内核切换技巧: 启动 Notebook 后,在 "Kernel" → "Change Kernel" 中选择 "Python (data_quality)",即可确保 Notebook 运行在正确的虚拟环境中。如果忘记注册内核,Notebook 会默认使用全局 Python,导致依赖缺失。
3.4 常用库安装
数据质量检测涉及数据读取、统计分析、可视化与报告生成。以下库是课程的核心依赖:
| 库名 | 版本建议 | 用途 | 安装命令 |
|---|---|---|---|
| pandas | >=2.0.0 | 数据读取、清洗、统计描述 | pip install pandas |
| numpy | >=1.24.0 | 数值计算、缺失值处理 | pip install numpy |
| great_expectations | >=0.18.0 | 数据质量断言与验证框架 | pip install great_expectations |
| pandas-profiling | >=3.6.0 | 自动化数据质量报告生成 | pip install pandas-profiling |
| matplotlib / seaborn | 最新稳定版 | 缺失值、异常值可视化 | pip install matplotlib seaborn |
批量安装推荐使用 requirements.txt 文件:
# requirements.txt
pandas>=2.0.0
numpy>=1.24.0
great_expectations>=0.18.0
pandas-profiling>=3.6.0
matplotlib>=3.7.0
seaborn>=0.12.0
jupyter>=1.0.0
ipykernel>=6.25.0
# 在虚拟环境中执行
pip install -r requirements.txt
3.5 环境验证脚本
安装完成后,运行以下脚本验证环境是否就绪:
import sys
import pandas as pd
import numpy as np
import great_expectations as ge
import matplotlib.pyplot as plt
print(f"Python 版本: {sys.version}")
print(f"pandas 版本: {pd.__version__}")
print(f"numpy 版本: {np.__version__}")
print(f"Great Expectations 版本: {ge.__version__}")
# 快速测试:创建 DataFrame 并检查
df = pd.DataFrame({'A': [1, 2, None], 'B': [4, None, 6]})
print("\n缺失值统计:")
print(df.isnull().sum())
print("\n环境准备完成!")
推荐工作流: 每次开始新项目时,先创建虚拟环境 → 安装依赖 → 注册 Jupyter 内核 → 启动 Notebook 并切换内核。这套流程可以避免 90% 以上的依赖冲突问题。