3. 数据收集与清洗：数据源类型、缺失值处理与异常值检测

数据收集与清洗是特征工程的基础环节，直接影响后续建模质量。本节系统梳理常见数据源类型，并深入讲解缺失值处理与异常值检测的核心方法。

3.1 数据源类型与特征

在MRM（Market Response Model）项目中，数据通常来源于以下三类系统，每类数据在时效性、粒度和可靠性上存在显著差异。

3.2 缺失值处理策略

缺失值处理需根据缺失机制（MCAR/MAR/MNAR）和业务含义选择方法。以下为三种主流填充方式的对比与适用场景。

3.2.1 均值/中位数填充实现

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({'sales': [100, np.nan, 150, 130, np.nan, 160]})

# 均值填充
df['sales_mean'] = df['sales'].fillna(df['sales'].mean())

# 中位数填充（推荐用于有偏分布）
df['sales_median'] = df['sales'].fillna(df['sales'].median())

print(f"均值: {df['sales'].mean():.2f}, 中位数: {df['sales'].median():.2f}")

3.2.2 模型填充（KNN示例）

from sklearn.impute import KNNImputer

# 假设有多个特征列
data = [[1, 2, np.nan], [3, 4, 3], [np.nan, 6, 5], [7, 8, 9]]
imputer = KNNImputer(n_neighbors=2)

data_imputed = imputer.fit_transform(data)
print(data_imputed)

3.3 异常值检测方法

异常值检测是数据清洗的关键步骤。IQR和Z-score是最常用的两种统计方法，适用于不同分布特征的数据。

3.3.1 IQR方法实现

def detect_outliers_iqr(data, factor=1.5):
    """使用IQR方法检测异常值"""
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1

    lower_bound = Q1 - factor * IQR
    upper_bound = Q3 + factor * IQR

    outliers = (data < lower_bound) | (data > upper_bound)
    return outliers, lower_bound, upper_bound

# 示例
sales = [100, 105, 98, 110, 102, 300, 95, 108, 101, 97]
outliers, lb, ub = detect_outliers_iqr(sales)
print(f"异常值索引: {np.where(outliers)[0]}")
print(f"下界: {lb:.2f}, 上界: {ub:.2f}")

3.3.2 Z-score方法实现

from scipy import stats

def detect_outliers_zscore(data, threshold=3):
    """使用Z-score检测异常值"""
    z_scores = np.abs(stats.zscore(data))
    outliers = z_scores > threshold
    return outliers, z_scores

# 示例
sales = [100, 105, 98, 110, 102, 300, 95, 108, 101, 97]
outliers, z = detect_outliers_zscore(sales)
print(f"异常值索引: {np.where(outliers)[0]}")
print(f"最大Z-score: {z.max():.2f}")

3.4 数据清洗流程总结

以下表格汇总了数据收集与清洗阶段的完整工作流，供团队在MRM项目中参考执行。