4. 编码技术（一）：标签编码、独热编码与虚拟变量陷阱

在特征工程中，绝大多数机器学习模型（如线性回归、SVM、神经网络）只能处理数值型输入。因此，将类别型特征转换为数值型特征是数据预处理的核心步骤。本章将深入讲解三种最基础且最常用的编码技术：标签编码、独热编码，并重点剖析其背后的陷阱——虚拟变量陷阱。

4.1 标签编码（Label Encoding）

标签编码是最直观的编码方式：为每个类别分配一个唯一的整数标签。例如，将颜色特征 [“红”, “绿”, “蓝”] 映射为 [0, 1, 2]。

4.1.1 实现示例

from sklearn.preprocessing import LabelEncoder

data = ['cat', 'dog', 'bird', 'dog', 'cat']
encoder = LabelEncoder()
encoded = encoder.fit_transform(data)
print(encoded)  # 输出: [0 1 2 1 0]
print(encoder.classes_)  # 输出: ['bird' 'cat' 'dog']

4.1.2 标签编码的潜在问题

4.2 独热编码（One-Hot Encoding）

独热编码将每个类别扩展为一个二进制向量，向量的长度等于类别总数。每个类别对应一个维度，在该维度上置 1，其余维度置 0。例如，颜色特征 [“红”, “绿”, “蓝”] 编码为：红=[1,0,0]，绿=[0,1,0]，蓝=[0,0,1]。

4.2.1 实现示例

import pandas as pd

data = pd.DataFrame({'color': ['red', 'green', 'blue', 'green', 'red']})
encoded = pd.get_dummies(data, columns=['color'], prefix='color')
print(encoded)
#    color_blue  color_green  color_red
# 0           0            0          1
# 1           0            1          0
# 2           1            0          0
# 3           0            1          0
# 4           0            0          1

4.2.2 独热编码的代价

• 维度爆炸： 如果某个特征有 1000 个类别，就会产生 1000 个新特征，导致数据稀疏、内存占用剧增。
• 多重共线性： 编码后的特征之间线性相关，这是下一节的核心议题。
• 对低频类别不友好： 出现次数极少的类别会生成几乎全零的稀疏列，对模型贡献有限。

4.3 虚拟变量陷阱（Dummy Variable Trap）

虚拟变量陷阱是指在使用独热编码时，由于编码后的特征之间存在完全的线性相关性（即多重共线性），导致模型参数无法唯一估计或模型不稳定。

4.3.1 陷阱的数学本质

假设一个特征有 k 个类别，独热编码会生成 k 个二进制列。对于任意一条样本，这 k 列的和恒等于 1：

x₁ + x₂ + ... + xₖ = 1

如果模型包含截距项（常数项 1），则截距项与这 k 列之间存在精确的线性关系，导致设计矩阵 X 不满秩，无法求逆。

4.3.2 解决方案：丢弃一个类别

标准做法是：对于有 k 个类别的特征，只生成 k-1 个虚拟变量。被丢弃的类别作为基准类别，其信息由其他列全为 0 来隐含表示。

# 使用 drop_first=True 避免虚拟变量陷阱
encoded_safe = pd.get_dummies(data, columns=['color'], drop_first=True)
print(encoded_safe)
#    color_green  color_red
# 0            0          1
# 1            1          0
# 2            0          0
# 3            1          0
# 4            0          1

4.3.3 三种编码方式的对比

4.4 编码流程与决策逻辑

下图展示了在实际项目中如何根据特征类型和模型选择，决定使用哪种编码方式：

4.5 实践建议与常见误区