📚 课程目录第4章特征工程Pipeline设计

4、特征工程Pipeline设计：用Snakemake串联数据清洗、特征提取、特征选择流程

做特征工程最怕什么？不是算法不会调，而是流程跑乱了。我见过太多团队，数据清洗脚本、特征提取脚本、特征选择脚本各自为政，每次跑一遍都要手动改路径、改参数，一不留神就把上游的输出覆盖了。你想想看，这种重复劳动有多耽误时间。

Snakemake 的好处在于，它帮你把整个流程定义成一个有向无环图。每个步骤是一个规则，规则之间通过输入输出自动串联。你只要敲一个命令，剩下的交给它。省心，还不会出错。

4.1 为什么需要Pipeline设计？

特征工程一般分成三步：数据清洗 → 特征提取 → 特征选择。每一步都有自己独立的脚本和输出。手动跑，很容易出现以下问题：

输出覆盖：两次运行结果混在一起，不知道哪个是最终版本。
依赖混乱：特征提取用到了清洗后的数据，但清洗还没跑完就启动了提取，导致报错。
重复计算：只改了一个参数，却要重新跑整个流程。

Snakemake 通过显式声明依赖关系，完美解决这些问题。我个人习惯把每个子流程写成一个独立的规则文件，然后在主 Snakefile 中 include 进来。这样代码好维护，也方便团队复用。

4.2 规则设计：数据清洗

先讲数据清洗。它的任务通常是处理缺失值、去重、标准化格式。假设我们有一个原始数据集 raw_data.csv，清洗后输出 clean_data.csv。

代码示例：

rule clean_data:
    input:
        "raw_data.csv"
    output:
        "clean_data.csv"
    shell:
        """
        python scripts/clean.py --input {input} --output {output}
        """

嗯，注意这里的 {input} 和 {output} 是 Snakemake 的占位符，运行时自动替换成实际文件路径。我在项目中遇到过，有人直接在 shell 里写死了文件名，结果换数据时傻眼了。用占位符才是最灵活的做法。

小技巧：如果清洗脚本还依赖配置文件（比如缺失值阈值），可以用 params 传入参数，而不是硬编码在脚本里。

4.3 特征提取规则

清洗完之后，接下来是特征提取。这一步可能包括：数值型特征的统计量、类别型特征的独热编码、文本特征的 TF-IDF 向量等。我们用一个规则来演示如何从清洗后的数据生成特征矩阵。

rule extract_features:
    input:
        "clean_data.csv"
    output:
        "features.csv"
    shell:
        """
        python scripts/extract.py --input {input} --output {output}
        """

这里要注意一个细节：特征提取往往会产生中间文件（比如词频统计数据），我建议把这些中间文件也显式声明为 output，或者用 protected 标记，防止被意外删除。

4.4 特征选择规则

特征提取之后，特征维度可能很高，需要做特征选择或降维。我常用的方法包括方差阈值、卡方检验、L1 正则化等。下面是一个用方差阈值做特征选择的规则：

rule select_features:
    input:
        "features.csv"
    output:
        "selected_features.csv"
    params:
        threshold=0.01
    shell:
        """
        python scripts/select.py --input {input} --output {output} --thresh {params.threshold}
        """

你可能会问：为什么要单独做一个规则，而不是在特征提取里直接做选择？因为特征选择和特征提取是两个不同的逻辑阶段，分开后可以独立调参、独立验证。我曾经把两者混在一个脚本里，后面想单独测试不同的选择策略，不得不拆代码，非常痛苦。

4.5 串联整个Pipeline

上面的三个规则，通过输入输出自然串联起来：

clean_data 输出 clean_data.csv → 作为 extract_features 的输入
extract_features 输出 features.csv → 作为 select_features 的输入
select_features 输出最终的 selected_features.csv

在 Snakemake 中，你只需要定义最终目标文件，Snakemake 会自动推导出所有依赖并执行。例如：

rule all:
    input:
        "selected_features.csv"

然后命令行执行 snakemake --cores 4，Snakemake 就会按顺序运行这三个规则。如果某个中间文件已经存在，它还会跳过不重新计算。这就是增量构建的魅力。

4.6 流程可视化

Snakemake 内置了 DAG 可视化功能，但我还是习惯自己画一张结构图，方便向团队解释 pipeline 的逻辑。下面是我为这节课设计的 SVG 流程图：

4.7 实际项目中的经验教训

我曾经帮一个客户搭建特征工程 pipeline，他们原本用 shell 脚本手动串联各个步骤，每次运行都要在命令行输入一长串参数。后来改用 Snakemake，不仅出错率降低了 80%，而且团队成员可以并行开发不同的规则文件，效率提升很明显。

但是，有几个坑一定要避开：

不要在同一个规则里做太多事情。每个规则只做一件事，否则后期调试会非常痛苦。
命名规范要统一。输入输出文件名建议用 stage_variable.csv 的格式，比如 clean_data.csv、features.csv，一目了然。
记得设置 config.yaml。把所有可变参数（比如数据路径、阈值、并行数）统一放到配置文件里，不要散落在各个规则中。

特别提醒：Snakemake 默认将所有输出文件写入工作目录。如果你的数据量很大，建议在 config.yaml 中指定 output_dir，避免目录混乱。

4.8 进阶：规则模板与通配符

如果你的数据是按照某个维度（比如日期、地区）分片的，可以用 Snakemake 的通配符功能。例如，假设每天的数据需要单独处理：

rule clean_data_by_date:
    input:
        "data/{date}/raw.csv"
    output:
        "data/{date}/clean.csv"
    shell:
        "python scripts/clean.py --input {input} --output {output}"

然后你可以用 expand() 函数来生成所有日期的最终目标：

rule all:
    input:
        expand("data/{date}/clean.csv", date=dates)

这样，Snakemake 会自动并行处理所有日期的数据清洗任务。我在项目中遇到过一个场景：需要处理 100 多个城市的离线特征。用了通配符之后，代码行数减少了一半，而且每个城市可以独立增量更新，简直不要太爽。

4.9 总结

特征工程 pipeline 的设计核心就是“分而治之 + 自动串联”。Snakemake 正好提供了这样的能力。记住三条原则：

每个规则只做一个独立任务
输入输出用占位符，不要硬编码路径
用 config.yaml 管理所有可变参数

如果你现在还在手动拼凑脚本，不妨花一个小时把流程改成 Snakemake。你会发现，之后的每次修改都变得可控、可追溯，而且特别省心。