3. 机器学习基础回顾：监督学习、无监督学习、回归与分类问题、模型评估指标（MAE, MSE, R²）
在构建智能成本估算链路之前，必须夯实机器学习的基础概念。本章将系统回顾监督学习与无监督学习的核心区别，深入解析回归与分类问题的本质，并详细讲解模型评估指标（MAE、MSE、R²）的数学定义与适用场景。这些知识是后续章节中“估算校准”与“模型选择”的理论基石。
3.1 监督学习 vs. 无监督学习
机器学习算法根据训练数据是否包含标签（目标变量），分为监督学习与无监督学习两大类。在成本估算场景中，绝大多数问题属于监督学习，因为我们需要利用历史项目数据（特征）与已知成本（标签）来训练模型。
| 对比维度 | 监督学习 | 无监督学习 |
|---|---|---|
| 训练数据 | 包含输入特征 X 与输出标签 y | 仅包含输入特征 X，无标签 |
| 核心目标 | 学习 X → y 的映射关系，用于预测 | 发现数据内在结构、聚类或降维 |
| 典型任务 | 回归（预测连续值）、分类（预测离散类别） | 聚类（K-Means）、降维（PCA） |
| 成本估算应用 | 根据代码行数、功能点预测项目总成本 | 对历史项目进行聚类，发现不同成本模式 |
| 评估方式 | 将预测值与真实标签对比（如 MAE、MSE） | 无标准，常用轮廓系数、肘部法则 |
3.2 回归与分类问题
回归与分类是监督学习的两大支柱。在成本估算链路中，回归用于预测连续的成本数值（如总工时、预算金额），而分类则用于离散的决策输出（如项目风险等级、成本超支与否）。
3.2.1 回归问题
回归模型的目标是预测一个连续值。数学上，给定输入特征向量 x，模型输出 ŷ = f(x)，使得 ŷ 尽可能接近真实值 y。常见回归算法包括线性回归、决策树回归、随机森林回归、支持向量回归（SVR）以及神经网络。
3.2.2 分类问题
分类模型的目标是预测一个离散的类别标签。在二分类中，输出为 0 或 1；在多分类中，输出为多个类别之一。常见分类算法包括逻辑回归、K 近邻、支持向量机（SVM）、决策树、随机森林和神经网络。
| 对比维度 | 回归 | 分类 |
|---|---|---|
| 输出类型 | 连续数值（如 125.6） | 离散标签（如 0/1、类别 A/B/C） |
| 典型算法 | 线性回归、随机森林回归、SVR | 逻辑回归、决策树、SVM、KNN |
| 损失函数 | MSE、MAE、Huber Loss | 交叉熵损失、Hinge Loss |
| 评估指标 | MAE、MSE、RMSE、R² | 准确率、精确率、召回率、F1-Score、AUC |
| 成本估算场景 | 预测具体成本金额 | 判断成本是否超支、风险等级划分 |
3.3 模型评估指标
评估指标是衡量模型预测性能的标尺。在成本估算中，我们最关心预测值与真实值之间的偏差大小以及模型对数据变异的解释能力。以下重点介绍 MAE、MSE 和 R²。
3.3.1 平均误差（MAE）
MAE 计算预测值与真实值之间误差的平均值。它对异常值不敏感，直观反映平均预测偏差。
MAE = (1/n) * Σ|yᵢ - ŷᵢ|- 优点： 单位与原始数据一致，解释性强；对异常值鲁棒。
- 缺点： 数学性质不如 MSE 平滑，梯度优化时不如 MSE 方便。
- 成本估算场景： 平均每个项目的成本预测偏差为 ±5.2 万元。
3.3.2 均方误差（MSE）
MSE 计算预测值与真实值之间误差平方的平均值。它放大了大误差的惩罚，对异常值敏感。
MSE = (1/n) * Σ(yᵢ - ŷᵢ)²- 优点： 处处可导，适合梯度下降优化；对大误差敏感，有助于发现极端偏差。
- 缺点： 单位是原始单位的平方，解释性较差；受异常值影响大。
- 成本估算场景： 常用于模型训练阶段的损失函数，配合 RMSE（MSE 的平方根）使用。
3.3.3 决定系数（R²）
R² 衡量模型对目标变量变异的解释程度，取值范围通常为 [0, 1]（也可能为负）。值越接近 1，说明模型拟合效果越好。
R² = 1 - (SS_res / SS_tot)
其中：
SS_res = Σ(yᵢ - ŷᵢ)² （残差平方和）
SS_tot = Σ(yᵢ - ȳ)² （总平方和）- 优点： 无量纲，便于不同模型之间比较；直观反映模型解释力。
- 缺点： 随着特征数量增加，R² 会虚高（可通过调整 R² 修正）。
- 成本估算场景： R² = 0.85 表示模型可以解释 85% 的成本变异，剩余 15% 由未捕捉因素或随机误差引起。
| 指标 | 公式 | 取值范围 | 对异常值敏感度 | 成本估算解读示例 |
|---|---|---|---|---|
| MAE | (1/n) Σ|yᵢ - ŷᵢ| | [0, +∞) | 低 | 平均偏差 5.2 万元 |
| MSE | (1/n) Σ(yᵢ - ŷᵢ)² | [0, +∞) | 高 | 平方后单位变为 万元² |
| R² | 1 - SS_res / SS_tot | (-∞, 1] | 中等 | 模型解释了 85% 的成本变异 |
3.4 指标选择与成本估算链路的关系
在智能成本估算链路中，评估指标的选择直接影响模型校准策略：
- 模型训练阶段： 通常使用 MSE 作为损失函数，因为其梯度特性有利于优化。
- 模型评估与对比阶段： 同时使用 MAE 和 R²。MAE 提供业务可理解的偏差量级，R² 提供模型解释力的相对度量。
- 校准与后处理阶段： 如果 MAE 较大但 R² 较高，说明模型存在系统性偏差，可通过校准方法（如 Platt Scaling、等温回归）修正。