4、数据采集与准备：构建产能测算的可靠数据底座
产能测算模型的精度，本质上取决于输入数据的质量。如果采集的数据不完整、口径不一致或存在明显错误，再精妙的算法模型也会沦为“垃圾进，垃圾出”的摆设。本章将系统讲解珠宝车间产能测算所需的基础数据采集范围、标准化处理方法，以及如何通过清洗流程确保数据可信度，为后续建模打下坚实基础。
4.1 数据采集范围与核心原理
珠宝车间产能测算涉及四类核心数据：设备参数、人员技能、订单需求和历史产量。这四类数据分别对应产能测算中的“硬约束”“软能力”“需求输入”和“基线校验”四个维度。设备参数决定了理论最大产出，人员技能决定了实际可达产出，订单需求决定了需要排产的数量与交期，历史产量则用于校准模型参数。
| 数据类别 | 关键字段 | 采集来源 | 采集频率 | 用途 |
|---|---|---|---|---|
| 设备参数 | 设备编号、类型、额定速度、稼动率、故障率、保养周期 | 设备台账、PLC数据、维修记录 | 月度更新 | 计算理论产能上限 |
| 人员技能 | 工号、工种、技能等级、熟练度系数、可操作设备列表 | HR系统、技能考核表、班组长访谈 | 季度更新 | 计算人力产能与瓶颈工序 |
| 订单需求 | 订单号、产品SKU、数量、交期、工艺路线、优先级 | ERP订单模块、销售计划 | 每日更新 | 确定产能需求总量与结构 |
| 历史产量 | 日期、产品SKU、实际产量、合格率、工时消耗、停机时长 | MES系统、生产日报表 | 每日记录 | 校准模型参数、识别改善空间 |
采集过程中需要特别注意数据粒度问题。例如设备参数中的“额定速度”应区分“理论速度”和“实际平均速度”，两者差异通常可达15%-30%。人员技能中的“熟练度”不能只看工龄，应结合近三个月的平均产出效率来综合评定。
4.2 数据清洗与标准化操作流程
原始数据往往存在缺失、重复、异常、单位不一致等问题。清洗与标准化分为五个步骤，每一步都有明确的判断标准和操作方法。
- 缺失值处理：先判断缺失比例。若某字段缺失超过30%，建议重新采集；若缺失在5%-30%之间，可采用中位数填充或按同类设备/人员均值填充；若缺失低于5%，可直接删除该记录。
- 异常值识别：使用箱线图法或3σ原则。例如某台设备日产量突然超出平时2倍，需核查是否记录错误或存在特殊工艺变更。异常值不能直接删除，应标记后由车间主管确认。
- 单位统一：珠宝车间常见单位混乱包括：重量（克/盎司/钱）、长度（毫米/英寸）、时间（分钟/小时/工作日）。必须建立单位换算表，统一转换为国际标准单位。
- 口径对齐：例如“产量”是“毛重”还是“净重”？“工时”是“实际加工时间”还是“含等待时间”？所有数据必须明确业务口径，并在数据字典中记录。
- 时间序列规整：将不同来源的数据按日/周/月对齐，确保设备运行数据、人员出勤数据、订单交付数据在同一时间轴上可比。
# 数据清洗示例（Python伪代码）
import pandas as pd
import numpy as np
# 加载设备产量数据
df = pd.read_excel('equipment_daily_output.xlsx')
# 1. 缺失值处理：设备稼动率缺失用同类设备中位数填充
df['availability'] = df.groupby('equipment_type')['availability'].transform(
lambda x: x.fillna(x.median())
)
# 2. 异常值识别：产量超过均值±3σ的记录标记为待确认
mean_val = df['output_qty'].mean()
std_val = df['output_qty'].std()
df['is_outlier'] = (np.abs(df['output_qty'] - mean_val) > 3 * std_val)
# 3. 单位统一：将盎司转换为克（1盎司=31.1035克）
df['weight_gram'] = df['weight_oz'] * 31.1035
# 4. 口径对齐：确认产量为合格品数量
df['qualified_qty'] = df['output_qty'] * df['pass_rate']
# 5. 时间规整：按周汇总
df['week'] = pd.to_datetime(df['date']).dt.isocalendar().week
weekly_summary = df.groupby(['equipment_id', 'week'])['qualified_qty'].sum().reset_index()
4.3 案例拆解：某黄金镶嵌车间的数据采集实战
某中型珠宝企业拥有3条镶嵌生产线，共42台设备、86名生产人员，主要产品为18K金钻石戒指和翡翠吊坠。该企业希望建立产能测算模型，但发现历史数据分散在Excel表格、纸质日报和ERP系统中，格式混乱，无法直接使用。
初始现象与目标：车间主任凭经验排产，旺季经常延期交付，淡季设备闲置率高达40%。管理层要求建立数据驱动的产能测算体系，目标是将排产准确率从目前的65%提升至85%以上。
关键输入数据与问题：
- 设备参数：42台设备中，有7台进口设备的速度参数为“件/小时”，其余为“件/班次”，单位不统一。
- 人员技能：86名人员中，仅32人有正式技能等级证书，其余人员技能水平靠班组长口头评价。
- 订单需求：ERP系统中有订单数据，但未标注工艺路线，无法判断哪些订单需要经过瓶颈工序。
- 历史产量：纸质日报记录了每日产量，但未区分合格品与返工品，且部分日期数据缺失。
分析判断过程：项目组首先对数据现状进行盘点，发现设备参数完整率仅72%，人员技能数据完整率仅55%，历史产量数据缺失率达18%。按照清洗标准，人员技能数据缺失严重，决定重新设计技能评估表，由班组长和工艺工程师共同打分，结合近三个月实际产出效率进行校准。
实际操作步骤：
- 第一周：建立数据字典，明确所有字段的业务口径和单位标准。
- 第二周：设备参数全部统一为“件/小时”，并补充记录每台设备的实际平均速度（连续跟踪两周）。
- 第三周：完成86名人员的技能矩阵评估，将技能等级分为1-5级，并计算熟练度系数（1级=0.6，2级=0.75，3级=0.9，4级=1.0，5级=1.1）。
- 第四周：从ERP导出近12个月订单数据，与工艺部门合作标注每条订单的工艺路线。
- 第五周：将纸质日报数据录入系统，缺失日期通过MES系统补录，无法补录的标记为“无数据”。
结果对比与复盘：经过五周的数据清洗与标准化，设备参数完整率提升至98%，人员技能数据完整率提升至100%，历史产量缺失率降至3%以内。更重要的是，发现3台设备实际速度仅为额定速度的55%，属于严重老化设备，后续产能测算中需单独设置效率系数。同时发现某款翡翠吊坠的返工率高达22%，导致实际产能比理论产能低18%，这一发现直接影响了产能模型的修正。
4.4 常见误区与总结复盘
在数据采集与准备阶段，企业常犯以下四类错误，需要特别警惕：
| 误区类型 | 典型表现 | 后果 | 正确做法 |
|---|---|---|---|
| 重采集轻清洗 | 花大量时间收集数据，但清洗只做简单去重 | 模型精度低，异常值干扰测算结果 | 清洗时间应占总数据准备时间的40%以上 |
| 口径不统一 | 不同部门对“产量”“工时”定义不同 | 数据对比无意义，测算结果不可信 | 建立企业级数据字典，强制统一口径 |
| 忽略隐性数据 | 只采集系统数据，忽略班组长经验知识 | 模型脱离实际，无法识别隐性瓶颈 | 结合访谈、现场观察补充隐性知识 |
| 一次性采集 | 只在建模前采集一次数据，后续不更新 | 模型快速失效，无法适应业务变化 | 建立月度/季度数据更新机制 |
总结复盘：数据采集与准备是产能测算项目中最耗时但最关键的环节。建议企业按照“先盘点、再补采、后清洗、终确认”的四步法推进。盘点阶段明确现有数据资产；补采阶段针对缺失数据设计专项采集方案；清洗阶段严格按照缺失值、异常值、单位、口径、时间五个维度处理；最终由业务负责人签字确认数据质量。只有经过严格清洗与标准化的数据，才能支撑起后续的产能测算模型，确保测算结果真实反映车间实际生产能力。