1. 特征工程概述

什么是特征工程

特征工程（Feature Engineering）是将原始数据转化为更能代表问题本质、更适合机器学习算法处理的特征表示的过程。在推荐系统（PD 模型）中，特征工程决定了模型能“看到”什么信息，以及这些信息以何种方式被模型理解。

特征工程通常包含以下四个核心环节：

特征工程在 PD 模型中的重要性

PD 模型（Probability Distribution 模型，即推荐系统中的点击率/转化率预估模型）对特征的依赖程度极高。与图像、语音等端到端模型不同，推荐系统的输入几乎完全由人工设计的特征构成。

特征工程在 PD 模型中的关键作用体现在以下五个维度：

1. 信息密度决定模型容量 — 高质量特征让模型用更少的参数学到更强的模式，降低过拟合风险。
2. 稀疏性缓解 — 通过特征交叉、统计聚合等方式，将稀疏的 ID 类特征转化为稠密的行为统计特征，提升模型泛化能力。
3. 非线性表达 — 人工构造的交叉特征和组合特征，帮助线性模型或浅层网络捕捉高阶非线性关系。
4. 冷启动支撑 — 用户/物品的统计特征和画像特征，为新用户和新物品提供初始预估能力。
5. 在线推理效率 — 合理的特征变换和选择，直接降低模型推理时的计算开销和存储成本。

特征工程与模型性能的关系

特征工程与模型性能之间存在明确的量化关系。理解这种关系，有助于我们在实际项目中合理分配特征工程和模型调优的资源投入。

特征工程与模型性能的量化关系可总结为以下公式：

模型性能 ≈ f(特征质量, 特征数量, 模型容量)

其中：
- 特征质量：信息量、区分度、稳定性、时效性
- 特征数量：覆盖度、稀疏度、冗余度
- 模型容量：参数数量、网络深度、非线性表达能力

经验法则：
- 特征质量提升 10% → 模型性能提升 5%~15%
- 特征数量翻倍 → 模型性能提升 1%~5%（存在上限）
- 模型容量翻倍 → 模型性能提升 0.5%~3%（需配合正则化）

在实际项目中，建议遵循以下优先级策略：

• 第一阶段：构建基础特征集（用户画像、物品属性、上下文特征），快速建立基线模型。
• 第二阶段：深入挖掘行为统计特征（历史点击率、转化率、频次、间隔），提升模型区分度。
• 第三阶段：构造交叉特征和序列特征，捕捉高阶交互模式和时序依赖。
• 第四阶段：引入外部知识和图结构特征，突破单一数据源的信息瓶颈。
• 持续迭代：通过特征重要性分析和 A/B 实验，淘汰无效特征，优化特征组合。