📚 课程目录第4章数据收集与清洗

数据收集与清洗：从多源HRIS到高质量分析数据集

HR数据分析的起点并非算法或模型，而是数据本身。在实际项目中，我们经常遇到“垃圾进，垃圾出”的困境：报表做得再精美，如果底层数据存在重复、缺失或异常，结论就可能误导决策。本章聚焦HR数据源（HRIS、考勤、绩效、招聘系统）的接入策略、数据质量检查方法以及清洗技术（去重、缺失值处理、异常值处理），帮助您建立一套可复用的数据预处理流水线。

核心原理：HR数据源的异构性与集成挑战

HR数据天然分散在多个业务系统中。HRIS（如SAP SuccessFactors、Workday、PeopleSoft）存储员工主数据（工号、部门、职位、入职日期）；考勤系统记录每日打卡、请假、加班；绩效系统存放季度/年度评分、目标完成度；招聘系统（如Greenhouse、北森）管理候选人流程、Offer审批、入职转化。这些系统往往由不同供应商提供，数据模型、编码规则、更新频率各不相同。

集成时最常见的四个问题：主键不一致（同一员工在不同系统中使用不同工号或邮箱）、时间口径差异（考勤按自然日、绩效按考核周期）、层级关系缺失（HRIS中的组织架构与考勤系统中的成本中心不匹配）、历史数据漂移（员工转岗后，旧记录未更新）。理解这些异构性，是设计清洗规则的前提。

数据质量检查：六维度评估法

在动手清洗之前，必须先量化数据质量。我们推荐使用六维度检查框架，每个维度设定可量化的指标和阈值。以下表格展示了HR数据质量检查的典型操作方式：

维度	检查内容	常用SQL/Excel操作	可接受阈值
完整性	必填字段（工号、部门、入职日期）缺失率	COUNT(字段) vs COUNT(*)	< 1%
唯一性	员工ID重复、同人不同ID	GROUP BY 工号 HAVING COUNT(*)>1	0 重复
准确性	与源系统抽样比对，字段值是否合法	VLOOKUP 比对，检查枚举值范围	误差 < 0.5%
时效性	数据截止时间、延迟天数	MAX(更新时间) 与当前日期差	延迟 < 24小时
一致性	同一字段在不同系统中的值是否统一	JOIN 后比对部门名称/编码	不一致 < 2%
有效性	字段格式、范围、业务规则	正则表达式、BETWEEN 条件	无效 < 0.1%

实际操作中，建议将检查脚本固化为一套数据质量仪表盘，每次数据刷新后自动运行。例如，用Python的pandas库执行以下检查逻辑：

# 数据质量检查示例（Python伪代码）
import pandas as pd

df = pd.read_csv('hr_data.csv')
# 完整性检查
missing_rate = df['department'].isnull().mean()
# 唯一性检查
dup_rate = df.duplicated(subset=['employee_id']).mean()
# 有效性检查
invalid_salary = df[(df['salary'] < 0) | (df['salary'] > 1000000)].shape[0]

print(f"缺失率: {missing_rate:.2%}, 重复率: {dup_rate:.2%}, 异常薪资: {invalid_salary}")

清洗方法：去重、缺失值处理、异常值处理

完成质量检查后，进入清洗阶段。三个核心操作需要结合业务场景谨慎执行。

1. 去重：多键匹配与业务规则优先

HR数据去重不能只依赖单一字段。例如，员工离职后重新入职，工号可能变化，但身份证号（或护照号）不变。推荐使用复合键匹配：优先使用员工唯一ID（如工号），若缺失则使用“姓名+出生日期+入职日期”组合。对于招聘系统中的候选人，同一人可能投递多个职位，需要按邮箱+手机号去重。

去重操作应保留业务上最完整的记录。例如，HRIS中的员工主记录与考勤系统中的员工信息冲突时，以HRIS为准，但考勤中的排班信息需要保留。建议在清洗后生成去重日志，记录删除了哪些记录、保留依据是什么，便于审计。

2. 缺失值处理：区分缺失机制

HR数据缺失通常有三种机制：完全随机缺失（如员工忘记填写紧急联系人）、随机缺失（如绩效评分缺失与部门相关）、非随机缺失（如高绩效员工更可能缺失离职原因）。处理策略包括：

删除记录：当缺失率超过30%且字段非关键时，直接删除该字段或记录。
填充默认值：对于类别字段（如“部门”缺失），可填充“未知部门”；对于数值字段（如“司龄”），可填充中位数或众数。
模型预测填充：对于关键字段（如“绩效等级”），可使用其他字段（司龄、职级）建立简单回归或决策树进行预测填充。
标记缺失：在分析模型中，将缺失本身作为一个类别（如“离职原因=未知”），避免信息损失。

3. 异常值处理：业务规则与统计方法结合

异常值不一定是错误，可能是真实的极端情况（如高管薪资远高于普通员工）。因此，处理前必须区分自然极端值和数据错误。常用方法包括：

3σ原则：对于正态分布数据，超出均值±3倍标准差的值视为异常。
IQR（四分位距）法：超出Q1-1.5×IQR或Q3+1.5×IQR的值视为异常，适用于偏态分布。
业务规则校验：例如，月薪不能低于当地最低工资标准，年龄不能小于16岁或大于70岁。

处理方式上，对于确认的错误数据（如年龄=200岁），直接修正或删除；对于真实极端值（如销售冠军的提成），保留但单独标注，在建模时考虑使用稳健统计方法（如中位数替代均值）。

风险提示：清洗过程中最常见的错误是“过度清洗”——将真实业务波动当作异常值删除，导致分析结果失真。例如，某部门因项目奖金导致季度薪资暴涨，若用3σ法会误判为异常。建议在清洗前与业务部门确认异常值清单，并保留原始数据备份。

实战案例：某零售企业HR数据整合项目

某零售企业拥有3000名员工，数据分散在三个系统：HRIS（用友）、考勤机（钉钉）、绩效系统（自研Excel+OA）。HR部门希望分析“员工绩效与出勤率的关系”，但数据整合时遇到以下问题：

HRIS中员工ID为“EMP001”格式，考勤系统中为数字“1001”，无法直接关联。
绩效系统中存在同一员工多条记录（因季度考核多次录入），且部分员工绩效分数缺失。
考勤数据中，有员工单月加班时长超过200小时（正常上限为80小时），疑似数据录入错误。

处理过程：

建立映射表：通过员工手机号后四位+姓名拼音首字母，将HRIS与考勤系统的员工ID关联，生成统一员工ID。
去重：绩效系统中按“员工ID+考核季度”去重，保留最新录入的绩效分数。
缺失值处理：绩效缺失的120名员工中，80人因试用期未考核，直接标记为“试用期无绩效”；40人因系统漏录，使用同部门同职级员工的平均分填充。
异常值处理：加班时长超过200小时的记录，与考勤管理员确认后，发现是系统重复打卡导致，删除重复记录后修正为实际时长。

结果：清洗后数据集包含2950名员工的有效记录（50人因数据严重缺失被排除），分析发现出勤率与绩效评分呈弱正相关（r=0.32），但该结论在清洗前因数据混乱无法得出。项目复盘时发现，最耗时的是ID映射环节（占40%时间），建议后续推动各系统统一使用身份证号作为唯一标识。

常见误区与总结复盘

在HR数据清洗实践中，以下误区需要特别警惕：

误区一：清洗一次即可。HR数据是动态的，员工入职、转岗、离职持续发生，清洗规则需要定期（如每月）重新执行。
误区二：所有缺失值都填充。对于“离职原因”这类敏感字段，填充反而会引入偏差，不如保留“未知”类别。
误区三：忽略数据血缘。清洗后的数据必须能追溯到原始系统，否则无法验证准确性。
误区四：清洗规则不文档化。团队人员流动后，后续同事无法理解为何某些记录被删除，导致重复劳动。

经验建议：建立“清洗规则库”，每条规则包含：规则名称、适用数据源、触发条件、处理逻辑、负责人、生效日期。同时，每次清洗后输出“清洗报告”，包含原始记录数、清洗后记录数、删除/修改/填充的统计，以及关键字段的质量评分。这不仅是操作记录，更是后续分析的可信度依据。

数据收集与清洗是HR数据分析中最耗时但最关键的环节。通过系统化的质量检查、科学的清洗策略和完整的文档记录，您可以将原始的多源数据转化为可靠的分析基础。下一阶段，我们将探讨如何将清洗后的数据构建为适合分析的宽表或星型模型，为后续的统计建模和可视化做好准备。