4. 数据准备与清洗：数据源识别、数据质量检查、缺失值处理、异常值处理、数据标准化

数据准备与清洗是绩效归因分析中最耗时、最关键的环节。原始数据通常来自多个异构系统，包含大量噪声、缺失值和异常记录。本章将系统讲解从数据源识别到标准化输出的完整流程，确保后续人群切片与归因计算建立在可靠的数据基础之上。

4.1 数据源识别与分类

绩效归因分析涉及的数据源通常分为三类：

4.2 数据质量检查框架

数据质量检查应从六个维度展开，每个维度对应具体的检查方法和可接受阈值：

1. 完整性：检查关键字段的缺失比例。绩效归因中，用户ID、时间戳、目标指标（如转化金额）的缺失率应低于5%。
2. 准确性：验证数据是否真实反映业务事实。例如，订单金额不应为负数，转化率不应超过100%。
3. 一致性：检查同一实体在不同数据源中的取值是否一致。例如，同一用户ID在CRM和埋点系统中应能关联。
4. 时效性：确认数据的时间戳是否在合理范围内，是否存在未来时间或过期的历史数据。
5. 唯一性：检查是否存在重复记录，尤其是主键字段（如订单号、事件ID）是否唯一。
6. 规范性：检查字段格式是否符合预期，如日期格式统一为YYYY-MM-DD，金额保留两位小数。

4.3 缺失值处理策略

缺失值处理没有万能方案，需要根据字段的业务含义和缺失模式选择合适的方法。以下是绩效归因场景中常用的处理策略：

4.4 异常值检测与处理

异常值检测是数据清洗中的难点，过度清洗会丢失真实业务波动，清洗不足则会导致归因结果失真。推荐采用“业务规则 + 统计方法”的组合策略。

4.4.1 常用检测方法

• 业务规则法：基于业务常识设定阈值。例如，单笔订单金额不超过100万元，单日登录次数不超过100次。
• Z-Score法：适用于近似正态分布的数据，通常取|Z|>3作为异常值判定标准。
• IQR四分位距法：适用于偏态分布，定义下界为Q1-1.5×IQR，上界为Q3+1.5×IQR。
• 聚类检测法：使用DBSCAN等密度聚类算法，将远离核心簇的点标记为异常。

4.4.2 处理策略

4.5 数据标准化方法

数据标准化是将不同量纲、不同分布的数据转换到统一尺度，确保后续的聚类、回归、相似度计算等算法不受数值范围影响。绩效归因中常用的标准化方法包括：

4.6 数据清洗完整流程

以下SVG图展示了从原始数据到标准化输出的完整清洗流水线，包含五个核心阶段：

4.7 代码实现示例

以下Python代码展示了数据清洗的核心步骤，使用pandas库实现：

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler, StandardScaler, RobustScaler

# 1. 加载原始数据
df = pd.read_csv('performance_data.csv')

# 2. 数据质量检查
def quality_check(df):
    report = {
        'total_rows': len(df),
        'missing_ratio': df.isnull().mean().to_dict(),
        'duplicate_rows': df.duplicated().sum(),
        'negative_values': (df['amount'] < 0).sum()
    }
    return report

# 3. 缺失值处理
# 关键字段（用户ID、时间戳）缺失则删除
df.dropna(subset=['user_id', 'timestamp'], inplace=True)
# 数值字段用同类均值填充
df['income_level'] = df.groupby('region')['income_level'].transform(
    lambda x: x.fillna(x.mean())
)

# 4. 异常值处理（IQR法）
Q1 = df['amount'].quantile(0.25)
Q3 = df['amount'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
# 标记异常值，不直接删除
df['amount_outlier'] = ((df['amount'] < lower_bound) | 
                        (df['amount'] > upper_bound)).astype(int)
# 截断极端值
df['amount_clipped'] = df['amount'].clip(lower=lower_bound, upper=upper_bound)

# 5. 数据标准化
# Min-Max标准化（适用于转化率等0-1指标）
scaler_minmax = MinMaxScaler()
df['conversion_rate_scaled'] = scaler_minmax.fit_transform(
    df[['conversion_rate']]
)

# Robust标准化（适用于含异常值的金额字段）
scaler_robust = RobustScaler()
df['amount_robust'] = scaler_robust.fit_transform(
    df[['amount_clipped']]
)

print("数据清洗完成，清洗后记录数：", len(df))

4.8 清洗效果验证

数据清洗完成后，需要通过以下指标验证清洗效果：

• 缺失率变化：关键字段缺失率是否降至5%以下。
• 异常值比例：处理后异常值占比是否在可接受范围（通常<1%）。
• 分布形态：标准化后的数据分布是否接近预期（如Z-Score后均值接近0）。
• 业务一致性：随机抽取100条记录，人工验证清洗结果是否符合业务常识。