📚 课程目录第2章历史项目数据收集

2. 历史项目数据收集：如何识别、清洗和整理历史项目成本数据

历史项目数据是参数化估算的“燃料”。如果输入的数据质量低劣，再先进的估算模型也无法输出可信的结果。本章聚焦于从原始项目档案中识别有效数据、清洗异常值、并整理为结构化成本数据库的完整流程。

2.1 数据识别：从项目档案中筛选有效成本记录

并非所有历史项目都适合作为参数化估算的参考。识别有效数据需遵循以下筛选标准：

筛选维度	合格标准	常见排除项
项目完整性	已通过最终验收，成本关账	中途取消、暂停或未决算项目
数据颗粒度	WBS 分解至至少第 3 级，成本可追溯至工作包	仅保留总账级汇总，无明细分解
成本类型	直接人工、材料、设备、外包费用分列清晰	混合记账、间接费未分摊
时间范围	近 3~5 年内完成，技术环境与当前可比	超过 8 年且未做通胀调整
变更记录	有正式变更单，成本基线已更新	口头变更、无书面记录

实战提示：优先从企业 PMIS（项目管理信息系统）或 ERP 成本模块导出数据，避免使用手工 Excel 台账。手工台账常存在公式错误、合并单元格、隐藏行等隐患。

2.2 数据清洗：处理缺失、异常与不一致

原始数据通常包含三类问题：缺失值、异常值和单位/货币不一致。清洗流程应遵循以下步骤：

缺失值处理：若某 WBS 节点的成本缺失超过 20%，直接剔除该记录；低于 20% 的，使用同类工作包的单位成本中位数插补。
异常值检测：采用 IQR（四分位距）法，将低于 Q1-1.5×IQR 或高于 Q3+1.5×IQR 的成本值标记为潜在异常，需人工复核。
单位归一化：将所有货币统一为基准币种（如 USD），按项目关账日汇率换算；工时统一为“人·小时”，材料统一为“kg”或“m²”。
通胀调整：使用生产者价格指数（PPI）或行业成本指数，将历史成本调整至当前基准年。

  清洗前后对比示例（单位：千美元）：

  原始记录：项目 A 人工成本 ¥1,200,000（人民币），项目 B 人工成本 $180,000（美元），项目 C 人工成本 150,000（无单位）

  清洗后：项目 A 人工成本 $168,000（按汇率 7.14 换算），项目 B 人工成本 $180,000，项目 C 剔除。

2.3 数据整理：构建结构化成本数据库

清洗后的数据需按统一模板整理，形成可供参数化模型直接调用的数据库。推荐采用以下字段结构：

字段类别	字段名称	示例值	说明
项目标识	project_id	PRJ-2022-045	唯一项目编码
	project_type	软件开发	按企业分类标准填写
	completion_date	2023-06-30	实际完工日期
成本驱动	size_metric	FP（功能点）	规模度量单位
	size_value	1,250	规模数值
	team_size	8	峰值团队人数
成本数据	labor_cost	245,000	直接人工成本（USD）
	material_cost	32,000	直接材料成本（USD）
	equipment_cost	18,000	设备租赁/折旧（USD）
	total_cost	295,000	上述三项之和
质量标记	data_quality	A / B / C	A=高置信度，C=需谨慎使用

2.4 数据质量分级与标注

为便于后续参数调优时区分权重，建议对每条历史记录进行质量分级：

A 级（高置信度）：数据来自正式财务系统，WBS 分解完整，变更记录齐全，无缺失值。
B 级（中等置信度）：数据来自项目周报或内部跟踪表，存在少量插补值，但整体趋势可信。
C 级（低置信度）：数据来自回忆或估算，缺失较多，仅作为趋势参考，不参与参数拟合。

常见陷阱：不要将不同质量等级的数据直接混合用于回归分析。建议先使用 A 级数据建立基准参数，再用 B 级数据验证稳定性，C 级数据仅用于极端场景测试。

2.5 数据收集与整理流程总览

下图展示了从原始档案到结构化数据库的完整转换路径：

2.6 数据质量对参数调优的影响

不同质量等级的数据在参数调优阶段应赋予不同权重。下表展示了典型影响：

数据质量等级	建议权重	对回归模型的影响	适用场景
A 级	1.0（全权重）	降低标准误差，提高 R²	主参数拟合
B 级	0.5~0.7	增加置信区间宽度	交叉验证
C 级	0.1~0.2	可能引入偏差，仅作参考	极端值测试

  关键原则：“垃圾进，垃圾出”（GIGO）。在参数化估算中，投入 80% 的时间进行数据收集与清洗，可避免后续 90% 的估算偏差。建议每次参数调优前，先对历史数据库执行一次完整的数据质量审计。