一、特征工程概述

说实话，我见过太多人一上来就调模型参数，结果效果死活上不去。为什么？因为数据本身就没准备好。特征工程，说白了就是帮机器学习算法「喂」对东西的过程。

我刚开始做数据挖掘时，也踩过这个坑。记得有一次做用户流失预测，直接拿原始数据跑 XGBoost，AUC 只有 0.62。后来花了两周做特征工程，同样的模型 AUC 直接飙到 0.89。嗯，从那以后我再也不敢轻视这步了。

什么是特征工程

特征工程，就是把原始数据转换成更能表达问题本质的特征的过程。你想想看，机器学习模型只能理解数字，但现实世界的数据五花八门——文本、图片、时间序列、类别标签……我们需要把这些东西「翻译」成模型能听懂的语言。

我个人习惯把特征工程分成四个核心步骤：

• 特征提取：从原始数据中抽取出有意义的属性
• 特征构建：基于已有特征创造新的特征
• 特征选择：从众多特征中挑出最有用的那些
• 特征降维：在保留信息的前提下压缩特征空间

特征工程在机器学习中的重要性

为什么特征工程这么重要？我直接给你看个例子。

场景	原始特征	特征工程后	效果提升
房价预测	面积、房间数	面积+房间数+楼层+朝向+房龄+周边配套评分	R² 从 0.45 → 0.82
用户点击率预测	用户ID、广告ID	用户历史点击率+广告行业+时段特征+设备类型	AUC 从 0.68 → 0.91
异常检测	交易金额、时间	金额+时间+频次+地理位置+设备指纹+行为序列	召回率从 0.55 → 0.93

你看，同样的算法，特征不同，效果天差地别。我曾经在一个电商推荐项目中，花了三周做特征工程，最后线上 CTR 提升了 37%。老板问我用了什么高级模型，我说就是逻辑回归。他一脸不信——但事实就是这样，好特征比好模型更值钱。

特征工程的核心流程

下面这张图是我自己总结的特征工程全流程，每次做项目我都会对着它过一遍，防止漏掉关键步骤。

1. 特征提取

特征提取，就是把非结构化数据变成结构化特征。比如文本数据要转成词袋或 TF-IDF，图片要提取像素或边缘特征，时间数据要拆成年月日星期几。

我遇到过最典型的例子是处理用户注册时间字段。原始数据是「2024-03-15 14:30:00」，直接扔给模型它根本看不懂。我们需要提取出：注册年份、注册月份、星期几、是否工作日、注册时段（凌晨/上午/下午/晚上）。这些特征对用户行为预测往往非常关键。

# 一个简单的时间特征提取示例
import pandas as pd

def extract_time_features(df, col='register_time'):
    df[col] = pd.to_datetime(df[col])
    df['register_year'] = df[col].dt.year
    df['register_month'] = df[col].dt.month
    df['register_dayofweek'] = df[col].dt.dayofweek
    df['register_hour'] = df[col].dt.hour
    df['is_weekend'] = df['register_dayofweek'].isin([5, 6]).astype(int)
    return df

2. 特征构建

特征构建是创造力的体现。基于已有的特征，通过加减乘除、聚合统计、交叉组合等方式生成新特征。

举个例子，在电商场景中，单独看「浏览次数」和「加入购物车次数」可能效果一般。但如果你构建一个「加购率 = 加购次数 / 浏览次数」，这个比率特征往往比原始特征更有区分度。

3. 特征选择

特征多了，问题就来了——哪些特征真正有用？特征选择就是干这个的。

常用的方法有三类：

• 过滤法：计算每个特征与目标变量的相关性，比如皮尔逊系数、卡方检验。速度快，但忽略特征间的交互。
• 包裹法：用模型效果来评估特征子集，比如递归特征消除（RFE）。效果好，但计算成本高。
• 嵌入法：在模型训练过程中自动选择特征，比如 Lasso 回归、树模型的特征重要性。兼顾效果和效率。

我个人习惯先用过滤法快速筛掉明显无用的特征，再用嵌入法做精细选择。这样既省时间，又不会漏掉重要的交互特征。

4. 特征降维

降维和特征选择不同。特征选择是「挑」，降维是「压缩」。最经典的方法就是 PCA（主成分分析）。

我记得有一次做图像识别，原始特征维度是 4096，模型训练一次要 3 小时。用 PCA 降到 200 维后，训练时间缩短到 10 分钟，准确率只下降了 1.2%。这个 trade-off 在很多场景下都是值得的。

# PCA 降维示例
from sklearn.decomposition import PCA

pca = PCA(n_components=0.95)  # 保留 95% 的方差
X_reduced = pca.fit_transform(X_scaled)
print(f"原始维度: {X_scaled.shape[1]}")
print(f"降维后维度: {X_reduced.shape[1]}")

好了，特征工程的四个核心步骤就讲到这里。记住，这四步不是一次走完就完事了。实际项目中，你经常需要反复迭代——先提取一些基础特征，构建几个新特征，跑一轮模型看看效果，再回去调整。嗯，这才是常态。