4. 数据质量初探：缺失值、异常值、重复值对A/B测试特征的影响

在催收触达A/B测试中，特征数据的质量直接决定实验结论的可靠性。缺失值、异常值和重复值是数据清洗阶段最常遇到的“三座大山”。本章将系统分析这三类问题对A/B测试的潜在影响，并给出针对催收场景的初步清洗方法。

4.1 缺失值：无声的样本流失

催收数据中缺失值极为常见。例如：客户联系人信息不全、历史还款记录部分缺失、第三方征信数据接口超时等。缺失值在A/B测试中会引发以下问题：

• 样本量缩减： 直接删除含缺失值的样本，可能导致实验组和对照组样本量不对称，降低统计功效。
• 分组偏差： 若缺失机制与实验分组相关（例如A组催收策略导致更多客户挂断电话，从而缺失后续行为数据），则产生非随机缺失（MNAR），严重破坏随机化。
• 特征重要性误判： 缺失率高的特征在模型中被低估，可能遗漏关键催收触达变量。

4.1.1 缺失机制分类

4.1.2 初步清洗方法

1. 缺失率评估： 计算每个特征的缺失率，设定阈值（如30%）。缺失率过高的特征建议直接剔除或标记后单独分析。
2. 简单填充策略：
   • 数值型特征：使用中位数填充（对异常值鲁棒）
   • 分类型特征：使用众数填充，或新增“未知”类别
   • 时间型特征：使用前向填充（如最近一次联系时间）
3. 缺失指示变量： 创建二值变量标记是否缺失，保留缺失模式信息。
4. 分组一致性检查： 确保实验组和对照组的缺失模式无显著差异（卡方检验）。

# Python示例：缺失值初步处理
import pandas as pd
import numpy as np

# 加载催收A/B测试特征数据
df = pd.read_csv('collection_ab_features.csv')

# 1. 计算缺失率
missing_rate = df.isnull().mean().sort_values(ascending=False)
print("特征缺失率：\n", missing_rate[missing_rate > 0])

# 2. 高缺失率特征处理（阈值30%）
high_missing_cols = missing_rate[missing_rate > 0.3].index.tolist()
df_clean = df.drop(columns=high_missing_cols)

# 3. 数值特征中位数填充
num_cols = df_clean.select_dtypes(include=[np.number]).columns
df_clean[num_cols] = df_clean[num_cols].fillna(df_clean[num_cols].median())

# 4. 分类特征众数填充 + 缺失指示变量
cat_cols = df_clean.select_dtypes(include=['object']).columns
for col in cat_cols:
    df_clean[col + '_missing'] = df_clean[col].isnull().astype(int)
    df_clean[col] = df_clean[col].fillna(df_clean[col].mode()[0])

# 5. 分组缺失模式检验（示例：实验组A vs 对照组B）
from scipy.stats import chi2_contingency
contingency = pd.crosstab(df['group'], df['feature_missing'])
chi2, p, _, _ = chi2_contingency(contingency)
print(f"分组缺失模式卡方检验 p值: {p:.4f}")

4.2 异常值：隐藏在分布尾部的“地雷”

催收数据中的异常值往往携带重要信息，但也可能扭曲统计推断。例如：某客户单日催收通话次数高达50次（系统错误或恶意刷量），或某账户逾期金额为正常值的100倍（数据录入错误）。

4.2.1 异常值对A/B测试的破坏机制

• 均值偏移： 单个极端值即可显著改变组均值，导致效应量估计失真。
• 方差膨胀： 异常值增大组内方差，降低t检验或ANOVA的统计功效。
• 分组不均： 若异常值集中在某一实验组，会引入系统性偏差。

4.2.2 催收场景异常值识别方法

4.2.3 初步清洗策略

1. 区分“真异常”与“假异常”： 催收场景中，高逾期天数本身就是风险信号，不应直接剔除。建议先标记，单独分析异常样本的业务含义。
2. 截尾处理（Winsorization）： 将极端值替换为指定百分位数的值（如1%和99%分位数），保留样本量同时抑制极端影响。
3. 分组独立处理： 对实验组和对照组分别进行异常值检测，避免因分组差异导致误判。
4. 敏感性分析： 分别在有/无异常值的数据集上运行A/B测试，观察结论是否稳健。

# Python示例：异常值检测与截尾处理
def detect_and_cap_outliers(df, col, method='iqr', lower_quantile=0.01, upper_quantile=0.99):
    """检测并截尾处理异常值"""
    if method == 'iqr':
        Q1 = df[col].quantile(0.25)
        Q3 = df[col].quantile(0.75)
        IQR = Q3 - Q1
        lower_bound = Q1 - 1.5 * IQR
        upper_bound = Q3 + 1.5 * IQR
    elif method == 'winsorize':
        lower_bound = df[col].quantile(lower_quantile)
        upper_bound = df[col].quantile(upper_quantile)
    
    # 标记异常值
    df[col + '_outlier'] = ((df[col] < lower_bound) | (df[col] > upper_bound)).astype(int)
    
    # 截尾处理
    df[col + '_capped'] = df[col].clip(lower=lower_bound, upper=upper_bound)
    
    return df

# 对催收通话时长进行截尾处理
df = detect_and_cap_outliers(df, 'call_duration_min', method='winsorize')
print(f"异常值占比: {df['call_duration_min_outlier'].mean():.2%}")

4.3 重复值：被“复制”的虚假样本

重复值在催收数据中可能源于：同一客户多次录入、数据合并时的重复记录、系统重试机制导致的重复日志。重复值会人为放大样本量，导致标准误被低估，假阳性率上升。

4.3.1 重复值的类型与影响

4.3.2 初步清洗方法

1. 完全重复删除： 使用 df.drop_duplicates() 直接移除。
2. 关键字段去重： 基于客户ID + 时间戳 + 催收员ID 等组合键去重，保留最新或最完整的一条记录。
3. 业务去重规则： 例如同一客户同一天内多次催收通话，仅保留首次或最后一次（取决于分析目标）。
4. 去重前后对比： 记录去重前后的样本量变化，评估重复值对实验分组的影响。

# Python示例：重复值处理
# 1. 完全重复删除
df_dedup = df.drop_duplicates()
print(f"完全重复删除: {len(df) - len(df_dedup)} 条")

# 2. 基于关键字段去重（保留最新记录）
df_dedup_key = df.sort_values('timestamp').drop_duplicates(
    subset=['customer_id', 'call_date', 'collector_id'], 
    keep='last'
)
print(f"关键字段去重: {len(df) - len(df_dedup_key)} 条")

# 3. 检查去重对分组的影响
from collections import Counter
before = Counter(df['group'])
after = Counter(df_dedup_key['group'])
print("去重前分组分布:", before)
print("去重后分组分布:", after)

4.4 综合清洗流程与A/B测试适配

数据清洗不是一次性操作，而是与A/B测试设计紧密耦合的迭代过程。以下流程建议在特征筛选前执行：

4.4.1 分组一致性校验要点

• 缺失模式对比： 对每个特征，检验实验组和对照组的缺失率是否有显著差异（使用双比例Z检验）。
• 异常值分布对比： 检查异常值在两组中的占比是否均衡。
• 重复值分布对比： 确认去重操作对两组样本量的削减比例一致。
• 清洗前后效应量稳定性： 计算清洗前后关键指标（如平均回收率）的组间差异，若变化超过10%，需重新审视清洗策略。

4.5 本章小结