3. 历史项目数据清洗：缺失值处理、异常值检测与修正、数据标准化与归一化、数据一致性校验
历史项目数据是参数化估算的基石，其质量直接决定估算模型的准确性与可靠性。原始数据通常存在缺失、异常、量纲不一及逻辑冲突等问题，必须经过系统化清洗才能用于智能成本估算。本章围绕四个核心环节展开：缺失值处理、异常值检测与修正、数据标准化与归一化、数据一致性校验。
3.1 缺失值处理
缺失值在历史项目数据中普遍存在，原因包括记录遗漏、系统故障或字段不适用。处理策略需根据缺失率、字段重要性及数据分布选择。
| 缺失率范围 | 推荐策略 | 适用场景 |
|---|---|---|
| < 5% | 删除记录（行删除） | 样本量充足，缺失随机分布 |
| 5% – 20% | 均值/中位数/众数填充 | 数值型字段（均值/中位数）；类别型字段（众数） |
| 20% – 50% | 模型预测填充（KNN、回归） | 字段间存在较强相关性 |
| > 50% | 删除字段（列删除）或标记为“未知” | 字段对估算贡献低或无法可靠填充 |
实践建议：对于成本估算关键字段（如实际工时、材料单价），即使缺失率低于5%，也应优先使用模型预测填充而非直接删除，以保留样本信息。
3.2 异常值检测与修正
异常值会扭曲参数化估算的统计特征，导致模型过拟合或偏差。常用检测方法包括统计法、距离法与密度法。
- Z-Score 法：适用于近似正态分布数据，|Z| > 3 视为异常。
- IQR 四分位距法：适用于偏态分布，低于 Q1-1.5×IQR 或高于 Q3+1.5×IQR 视为异常。
- 孤立森林：适用于高维数据，基于随机切割的异常隔离效率高。
- DBSCAN 聚类：基于密度，无法归入任何簇的点视为异常。
注意：异常值不一定是错误值。例如，大型基建项目的极端工期可能是真实记录。修正前应结合业务背景复核，避免误删有效数据。
修正策略：对于确认的录入错误，使用邻近值或中位数替换；对于真实极端值，保留并标记，或在建模时使用鲁棒回归算法。
3.3 数据标准化与归一化
参数化估算中，不同特征（如面积、工期、成本）的量纲差异巨大。标准化与归一化可消除量纲影响，使模型收敛更快、估算更稳定。
| 方法 | 公式 | 输出范围 | 适用场景 |
|---|---|---|---|
| Min-Max 归一化 | X' = (X - Xmin) / (Xmax - Xmin) | [0, 1] | 数据有明确边界，如成本区间 |
| Z-Score 标准化 | X' = (X - μ) / σ | 均值0，标准差1 | 数据近似正态分布，存在异常值 |
| Robust 标准化 | X' = (X - Median) / IQR | 无固定范围 | 数据含较多异常值 |
关键原则：标准化参数（Min、Max、μ、σ、Median、IQR）必须从训练集计算，并应用到验证集和测试集，避免数据泄露。
3.4 数据一致性校验
一致性校验确保历史项目数据在逻辑、格式与业务规则上无冲突。常见校验类型包括：
- 字段内一致性：日期格式统一、枚举值在合法范围内、数值非负。
- 跨字段一致性：开工日期 ≤ 竣工日期；实际成本 ≤ 预算上限；面积与工程量正相关。
- 跨项目一致性：同一类项目的计量单位统一（如“平方米” vs “平方英尺”需转换）。
- 时间序列一致性：成本数据按通胀指数调整至基准年，消除货币时间价值影响。
以下 SVG 图展示了数据清洗的完整流程与各环节的输入输出关系。
3.5 清洗效果评估指标
数据清洗完成后，需通过量化指标评估清洗效果，确保后续估算模型输入质量达标。
| 评估维度 | 指标 | 合格标准 |
|---|---|---|
| 完整性 | 字段缺失率 | ≤ 2% |
| 准确性 | 异常值占比 | ≤ 1% |
| 一致性 | 逻辑冲突记录数 | 0 条 |
| 规范性 | 格式统一字段占比 | 100% |
自动化建议：将上述清洗流程封装为可复用的 ETL 管道（如 Python + Pandas 脚本），每次接入新项目数据时自动执行，减少人工干预并保证清洗标准一致。
通过系统化的缺失值处理、异常值检测与修正、标准化归一化及一致性校验，历史项目数据从“原始可用”升级为“模型就绪”，为后续参数化估算提供高质量、高可信度的数据基础。