4. 数据采集与特征工程：成本数据来源、特征选择、特征缩放、处理缺失值与异常值
在智能成本估算链路中，数据是模型学习的“燃料”。原始成本数据通常分散在多个异构系统中，且包含大量噪声、缺失和异常。本章聚焦于如何系统性地采集、清洗并构造可用于机器学习训练的高质量特征集，确保后续估算模型具备可靠的数据基础。
4.1 成本数据来源与采集策略
成本估算所需的数据源通常跨越组织边界与技术栈，主要分为以下三类：
| 数据源类别 | 典型系统/文件 | 关键字段示例 | 采集频率 |
|---|---|---|---|
| 财务核算系统 | ERP、总账、成本中心报表 | 科目代码、实际成本、预算金额、期间 | 月度/季度 |
| 项目管理工具 | Jira、MS Project、工时系统 | 任务工时、人员角色、里程碑、延期天数 | 实时/日 |
| 技术资产库 | Git、CI/CD、代码扫描报告 | 代码行数、变更次数、缺陷密度、构建时长 | 事件驱动/日 |
实践建议：优先建立“成本-工作量-代码变更”三表关联的主数据视图。使用唯一项目标识（如项目ID + 版本号）作为跨系统连接键，避免因命名不一致导致的数据孤岛。
4.2 特征选择：从原始字段到有效预测因子
并非所有采集到的字段都对成本预测有贡献。特征选择的目标是剔除冗余、无关或噪声特征，降低维度灾难风险，提升模型泛化能力。常用方法包括：
- 过滤法（Filter）：基于统计指标（如皮尔逊相关系数、卡方检验、互信息）对每个特征独立评分，设定阈值筛选。计算快，但忽略特征间交互。
- 包裹法（Wrapper）：使用目标模型（如线性回归、随机森林）反复训练，通过前向/后向搜索或递归特征消除（RFE）评估特征子集性能。精度高，但计算开销大。
- 嵌入法（Embedded）：在模型训练过程中自动完成特征选择，如Lasso回归的L1正则化、树模型的特征重要性排序。兼顾效率与效果。
成本估算场景的关键特征清单（经实证筛选）：
- 功能点/故事点规模（连续型）
- 团队平均经验年数（连续型）
- 需求变更次数（离散型）
- 技术栈复杂度指数（有序分类）
- 历史类似项目实际成本偏差率（连续型）
4.3 特征缩放：统一量纲的必要性
成本估算特征往往具有不同的量纲和数值范围（如功能点规模在10~1000，团队经验在1~20年）。若不进行缩放，基于距离的模型（KNN、SVM）和梯度下降优化算法会偏向数值大的特征，导致模型训练不稳定或收敛缓慢。
两种主流缩放方法对比：
| 方法 | 公式 | 输出范围 | 适用场景 | 对异常值敏感度 |
|---|---|---|---|---|
| 标准化（Z-score） | \( z = \frac{x - \mu}{\sigma} \) | 均值0，标准差1 | 数据近似正态分布；使用线性模型、神经网络 | 中等（受异常值影响均值和标准差） |
| 归一化（Min-Max） | \( x' = \frac{x - x_{min}}{x_{max} - x_{min}} \) | [0, 1] | 数据有明确边界；使用KNN、深度学习 | 高（异常值会压缩正常值区间） |
避坑提示：特征缩放必须在划分训练集/测试集之后进行，且仅使用训练集的统计量（μ、σ、min、max）对测试集做变换。若直接用全量数据计算统计量，会造成数据泄露，高估模型性能。
4.4 处理缺失值与异常值
成本数据中缺失值和异常值普遍存在，处理不当会严重扭曲模型学习到的成本驱动关系。
4.4.1 缺失值处理策略
- 删除法：当缺失比例极低（<5%）且为随机缺失时，直接删除缺失样本或特征。简单但可能丢失信息。
- 统计填充：使用均值、中位数或众数填充。适用于数值型特征，但会降低方差，引入偏差。
- 模型预测填充：将缺失特征作为目标变量，用其他完整特征训练回归/分类模型进行预测。精度高，但计算成本大。
- 多重插补（MICE）：通过迭代链式方程生成多个填充数据集，综合结果。统计理论扎实，适合关键成本字段。
4.4.2 异常值检测与处理
成本估算中的异常值通常源于数据录入错误、项目范围突变或特殊事件（如疫情导致的供应链成本飙升）。常用检测方法：
| 方法 | 原理 | 成本场景适用性 |
|---|---|---|
| Z-score 法 | 假设正态分布，|Z| > 3 视为异常 | 适用于规模、工时等近似正态特征 |
| IQR 四分位距法 | 低于 Q1-1.5IQR 或高于 Q3+1.5IQR 视为异常 | 对偏态分布稳健，适合成本偏差率 |
| 孤立森林 | 基于随机切割的集成异常检测 | 高维特征空间，无需假设分布 |
处理原则：对于检测出的异常值，首先回溯业务原因（如是否为真实的高风险项目）。若确认为录入错误，则修正或删除；若为真实但极端的成本事件，可保留并单独标记为“特殊事件”特征，让模型学习其模式。
4.5 本章小结
数据采集与特征工程是智能成本估算链路中耗时最长但价值最高的环节。通过建立多源数据采集规范、系统性地进行特征选择与缩放、并稳健地处理缺失值与异常值，能够显著提升下游模型的预测精度与业务可解释性。建议在每次模型迭代中，将特征工程步骤纳入版本控制，确保数据加工链路可复现、可审计。