📚 课程目录第2章 Python数据处理环境搭建

第2章 Python 数据处理环境搭建

搭建 Python 数据处理环境，这事看起来简单，但我在项目里见过不少人在这一步卡壳。你想想看，好不容易装好了 Anaconda，结果 conda 源又连不上；或者明明装了 pandas，import 时却报 ModuleNotFoundError。其实只要理清几个关键点，十分钟就能搞定。

2.1 为什么需要专门搭建环境？

Python 自带的解释器确实能用，但做生物信息分析时，你会遇到几个麻烦：

库版本冲突：比如项目 A 需要 pandas 1.3，项目 B 需要 pandas 2.0，全局装一个就会打架。
依赖链太长：VCF 注释数据往往要处理数千个样本，matplotlib 渲染时还得依赖 freetype、agg 等底层库，装漏一个就要重来。
跨平台可复现：你写好的脚本丢给同事，他 Mac 上跑不了，就因为缺了 seaborn 的一个系统绑定。

所以我个人习惯，每个项目都单独建一个虚拟环境，干干净净。下面这张图就是整个搭建流程的骨架：

2.2 安装 Python

如果你是 Mac 或 Linux 用户，系统大概率自带 Python 2.7 或 3.x。但别偷懒用它，我们做 VCF 注释分析需要 3.8 以上版本，而且尽量用官方发行版。

Windows： 去 python.org 下载 3.9 或 3.10 安装包。安装时记得勾选 Add Python to PATH，否则后面敲 python 命令会找不到。
macOS： 我推荐用 Homebrew 装：brew install python@3.10，它会自动处理好路径和链接。
Linux： Ubuntu 系用 sudo apt install python3.10 python3.10-venv，CentOS 系用 yum 对应版本。

我曾经在 CentOS 7 上装 Python 3.9，默认源只有 3.6，折腾半天才找到 EPEL 仓库。后来我学乖了，直接用 Miniconda —— 它自带 Python，还带 conda 包管理器，一步到位。

2.3 使用虚拟环境

虚拟环境能让每个项目自成一派，不会互相污染。我常用的两种方式：

方式	创建命令	激活命令	适用场景
venv（Python 标准库）	`python3 -m venv myenv`	Linux/Mac: `source myenv/bin/activate` Windows: `myenv\Scripts\activate`	纯 Python 项目，轻量快速
conda（Anaconda/Miniconda）	`conda create -n myenv python=3.10`	`conda activate myenv`	需要非 Python 工具（如 HTSlib、BLAST）时

我个人偏爱 conda，因为处理 VCF 文件时经常需要调用 bcftools、tabix 等 C 工具，conda 可以一并管理。但如果你只做纯 Python 数据分析，venv 就够了，还省空间。

注意：虚拟环境一定要激活后才能装库。我见过有人忘了激活，直接在全局环境装了一堆包，最后项目里 import 时发现版本不对，全乱了。激活后可以看看命令行前面有没有 (myenv) 前缀来确认。

2.4 安装核心数据处理库

现在环境已激活，开始装我们这本书最常用的几个库。先把 pandas 和 matplotlib 装上：

pip install pandas matplotlib

紧接着装 seaborn（它依赖 matplotlib，但提供更漂亮的统计图表风格）：

pip install seaborn

另外再装几个我们后面会用到的辅助库：

pip install numpy scipy scikit-learn jupyter notebook

这里 numpy 是 pandas 的底层依赖，scipy 做统计检验，scikit-learn 用于简单的聚类（比如按注释结果分组）。jupyter notebook 可以边写代码边看图表，调试 VCF 注释结果非常方便。

我记得有一次做 VCF 注释结果的差异分析，需要画 200 个样本的曼哈顿图。matplotlib 内存消耗巨大，我改用 seaborn 的 FacetGrid 之后，代码简洁了 3 倍，出图速度也快了一截。所以推荐大家先从 seaborn 入手，它封装了很多实用的生物信息学绘图模式。

2.5 验证安装是否成功

装完之后别急着关终端，写几行测试代码确保每个库都能正常工作：

python -c "import pandas; print('pandas version:', pandas.__version__)"
python -c "import matplotlib; print('matplotlib version:', matplotlib.__version__)"
python -c "import seaborn; print('seaborn version:', seaborn.__version__)"

如果看到类似这样的输出，就说明环境搭建成功了：

pandas version: 2.2.1
matplotlib version: 3.8.4
seaborn version: 0.13.2

接下来我建议你再跑一个小脚本，画一张简单的 VCF 注释统计图作为测试：

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 模拟 VCF 注释中变异类型分布
data = {'Type': ['SNP', 'INDEL', 'MNP', 'SV'],
        'Count': [4500, 380, 56, 12]}
df = pd.DataFrame(data)

sns.barplot(x='Type', y='Count', data=df, palette='Set2')
plt.title('VCF Variant Type Distribution (Test)')
plt.savefig('vcf_test.png', dpi=150)
print("✅ 测试图已生成：vcf_test.png")

如果你的 output 目录下出现了一张 PNG 图片，那恭喜你，Python 数据处理环境已经准备好了。

2.6 常见坑与避坑指南

pip install 太慢？
国内建议换清华镜像源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
安装 matplotlib 报错缺少 freetype？
在 Linux 上先装系统依赖：sudo apt install libfreetype6-dev（Ubuntu）或 sudo yum install freetype-devel（CentOS）。
import pandas 时提示 No module named 'pandas._libs' ？
多半是你用了系统自带的 Python，且之前装过不兼容的版本。解决方案：删掉 ~/.local/lib/python3.x/site-packages 中 pandas 相关目录，然后重新用虚拟环境安装。

我曾经因为 conda 和 pip 混用，导致 matplotlib 被装了两次（一次 conda 版、一次 pip 版），运行时 segfault 崩溃。血的教训：尽量在一个环境里只用一种包管理器。如果非要用 conda 环境下 pip，先用 conda 装完所有能装的库，最后再用 pip 装 conda 源里没有的包。

2.7 本章小结

环境搭建是整个教程的地基。看起来步骤多，但只要你跟着我上面的流程：确认 Python 版本 → 创建虚拟环境 → 用 pip 或 conda 安装 pandas/matplotlib/seaborn → 验证 import → 跑一个测试图，最多十分钟就能搞定。以后每开始一个新的 VCF 分析项目，你都可以复刻这套环境，干干净净，避免冲突。

嗯，这里要注意：VCF 注释结果文件通常很大（比如几千个样本的 .tsv 文件），pandas 读取时需要足够内存。如果你的机器只有 8GB，建议搭配分块读取（chunksize），这部分我后面会专门讲。