3. 选择偏差校验：定义与成因、在营销响应模型中的表现、校验方法

3.1 定义与成因

选择偏差（Selection Bias） 是指由于样本并非随机取自目标总体，而是受到某种非随机选择机制的影响，导致估计结果偏离真实值。在金融风控与营销场景中，这种偏差会严重削弱模型的泛化能力与因果推断的有效性。

核心成因

• 自选择偏差：个体根据自身特征或偏好决定是否参与样本。例如，高信用评分客户更倾向于响应营销活动，导致样本中高分段占比过高。
• 样本截断：仅观测到通过某一筛选门槛的样本。例如，仅对已审批通过的贷款申请建模，忽略了被拒绝的申请。
• 缺失非随机：数据缺失机制与目标变量相关。例如，高风险客户更可能拒绝提供收入证明，导致收入字段缺失。
• 工具变量与处理变量相关：在因果推断中，处理分配（如是否发送营销短信）与潜在结果相关，造成混淆。

3.2 在营销响应模型中的表现

在金融营销场景中，选择偏差通常表现为以下具体问题：

3.3 校验方法

3.3.1 Heckman 两步法

Heckman 两步法是一种经典的选择偏差校正方法，适用于样本选择机制可建模的场景。其核心思想是：先估计选择方程（是否被观测到），再在结果方程中引入逆米尔斯比率（IMR）作为校正项。

步骤流程

1. 第一步：选择方程估计
   • 使用 Probit 模型估计样本被观测到的概率。
   • 自变量需包含至少一个排他性变量（影响选择但不直接影响结果）。
   • 计算逆米尔斯比率：λ = φ(Zγ) / Φ(Zγ)，其中 φ 为标准正态密度函数，Φ 为累积分布函数。
2. 第二步：结果方程校正
   • 将 IMR 作为额外自变量加入结果回归模型。
   • 若 IMR 系数显著，则表明存在选择偏差，校正后的系数更接近真实值。

# Python 伪代码示例：Heckman 两步法
import statsmodels.api as sm
from scipy.stats import norm

# 第一步：选择方程
select_model = sm.Probit(y_selected, X_select).fit()
pred_prob = select_model.predict(X_select)
imr = norm.pdf(norm.ppf(pred_prob)) / pred_prob  # 逆米尔斯比率

# 第二步：结果方程
X_outcome_with_imr = sm.add_constant(np.column_stack([X_outcome, imr]))
outcome_model = sm.OLS(y_outcome, X_outcome_with_imr).fit()
print(outcome_model.summary())

3.3.2 倾向得分匹配（PSM）

倾向得分匹配通过为处理组（如响应营销的客户）匹配倾向得分相近的对照组（未响应客户），模拟随机实验环境，从而消除选择偏差。

核心步骤

• 估计倾向得分：使用 Logit 或 Probit 模型估计每个样本接受处理的概率 P(T=1|X)。
• 匹配：采用最近邻匹配、卡尺匹配或核匹配等方法，为每个处理组样本寻找得分最接近的对照组样本。
• 平衡性检验：检查匹配后处理组与对照组在各协变量上的分布是否均衡（标准化均值差异 < 0.1）。
• 效应估计：计算匹配后处理组与对照组在结果变量上的平均差异（ATT）。

# Python 伪代码示例：倾向得分匹配
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import NearestNeighbors
import numpy as np

# 估计倾向得分
ps_model = LogisticRegression()
ps_model.fit(X, T)
propensity_scores = ps_model.predict_proba(X)[:, 1]

# 最近邻匹配（处理组 vs 对照组）
treated_idx = np.where(T == 1)[0]
control_idx = np.where(T == 0)[0]
nn = NearestNeighbors(n_neighbors=1)
nn.fit(propensity_scores[control_idx].reshape(-1, 1))
distances, matches = nn.kneighbors(propensity_scores[treated_idx].reshape(-1, 1))
matched_control = control_idx[matches.flatten()]

# 计算 ATT
att = np.mean(y[treated_idx] - y[matched_control])
print(f"ATT (平均处理效应): {att:.4f}")

3.4 方法对比与选择建议