3. 特征工程基础：定义、提取、选择与构建

特征工程是机器学习流水线中最关键、最耗时的环节，直接影响模型性能的上限。在历史项目成本估算场景中，原始数据（如项目工期、团队规模、代码行数、历史缺陷率）往往包含噪声、缺失值和不相关维度，必须通过系统化的特征工程转化为高质量特征矩阵。

3.1 特征工程的定义与重要性

特征工程（Feature Engineering）是指利用领域知识和数学变换，从原始数据中提取、选择、构造出最能表征问题本质的特征集合的过程。其核心目标包括：

• 提升模型精度：消除冗余和噪声，突出信号。
• 降低计算复杂度：减少特征维度，加速训练与推理。
• 增强可解释性：使特征与业务逻辑对齐，便于审计与调优。
• 适配算法假设：如线性模型要求特征尺度一致、无多重共线性。

3.2 特征提取：从原始数据到数值表示

特征提取（Feature Extraction）是将原始数据（文本、日期、类别、图像等）转换为数值特征向量的过程。在成本估算项目中，常见的提取操作包括：

3.3 特征选择：降维与去噪

特征选择（Feature Selection）从原始特征集合中筛选出对目标变量（如项目成本）最有预测能力的子集，剔除冗余和无关特征。主要方法分为三类：

• 过滤法（Filter）：基于统计指标（相关系数、卡方检验、互信息）独立评估每个特征，速度快但忽略特征交互。
• 包裹法（Wrapper）：使用目标模型（如线性回归、随机森林）反复训练，通过前向/后向搜索评估特征子集，精度高但计算开销大。
• 嵌入法（Embedded）：在模型训练过程中自动完成特征选择，如 Lasso 回归的 L1 正则化、树模型的特征重要性排序。

3.4 特征构建：创造高阶语义特征

特征构建（Feature Construction）通过数学变换、组合或领域知识，从现有特征中生成新的、更具表达力的特征。这是特征工程中最具创造性的环节，也是提升模型上限的关键。

在历史项目成本估算中，常用的特征构建方法包括：

• 多项式特征：对连续特征做平方、立方或交叉乘积，捕捉非线性关系。例如 team_size² 反映团队规模扩大后的管理成本非线性增长。
• 比率特征：构造有业务含义的比值，如 cost_per_developer = total_cost / team_size。
• 聚合统计特征：按某个分组键（如 department）计算均值、标准差、最大值等，例如 avg_project_cost_by_dept。
• 时间窗口特征：对时序数据计算滚动窗口内的统计量，如过去 3 个月的平均项目延期天数。
• 领域编码特征：将业务规则编码为数值，如项目复杂度评分 = 技术栈数量 × 接口数量 / 团队经验指数。

3.5 特征工程基本流程总结

完整的特征工程流水线通常遵循以下步骤，在历史项目成本估算中可迭代执行：

1. 数据理解与清洗：处理缺失值（如 budget 缺失用中位数填充）、异常值（如成本为负的项目记录）、重复数据。
2. 特征提取：将非数值字段（日期、类别、文本）转换为数值表示，如对 project_status 做独热编码。
3. 特征构建：基于业务逻辑生成高阶特征，如 cost_efficiency = actual_cost / estimated_cost。
4. 特征变换：对偏态分布做对数变换或 Box-Cox 变换，对数值特征做标准化/归一化。
5. 特征选择：使用过滤法（如方差阈值 > 0.01）初步筛选，再用嵌入法（如 Lasso 回归）精筛。
6. 特征验证：通过交叉验证评估特征子集对模型性能的影响，避免过拟合。