4. 实验变量定义:自变量、因变量与协变量的识别与定义
在 Champion 实验中,变量的准确识别与定义是实验设计的基础。错误的变量定义会导致实验结论无效,甚至误导策略迭代方向。本节将系统讲解三类核心变量:自变量(策略版本)、因变量(风控指标)与协变量(用户画像、渠道等)的识别方法与定义规范。
4.1 自变量(策略版本)
自变量是实验中主动操纵的变量,在 Champion 实验中即为不同的策略版本。定义自变量时需明确以下要素:
- 版本标识:为每个策略版本分配唯一 ID(如 V1.0、V2.0、Champion_v3)
- 策略内容:详细描述策略规则、模型版本、阈值设置等核心差异
- 生效范围:明确该策略应用于哪些产品、客群或场景
- 时间窗口:策略生效的起止时间与评估周期
| 策略版本 | 核心差异 | 生效范围 | 评估周期 |
|---|---|---|---|
| Champion(当前最优) | 现有规则集 + 模型 A(阈值 0.65) | 全量新客申请 | 2025-01-01 ~ 2025-03-31 |
| Challenger 1 | 现有规则集 + 模型 B(阈值 0.70) | 全量新客申请 | 2025-01-01 ~ 2025-03-31 |
| Challenger 2 | 简化规则集 + 模型 A(阈值 0.60) | 优质渠道新客 | 2025-01-15 ~ 2025-03-31 |
最佳实践:自变量的定义应遵循 SMART 原则(具体、可衡量、可达成、相关、有时限)。避免定义模糊的策略版本,如“优化版”“新模型”等无明确标识的名称。
4.2 因变量(风控指标)
因变量是实验需要测量的结果指标,用于评估不同策略版本的效果差异。风控场景中因变量通常分为以下几类:
- 核心风险指标:逾期率(DPD30+、DPD60+)、坏账率、损失率
- 审批效率指标:通过率、人工审核率、自动决策率
- 收益相关指标:预期损失(EL)、风险调整后收益(RAR)
- 用户体验指标:审批时长、客户投诉率、重复申请率
| 指标类别 | 指标名称 | 定义公式 | 数据来源 |
|---|---|---|---|
| 核心风险 | DPD30+ 逾期率 | 逾期 ≥ 30 天的订单数 / 总放款订单数 | 贷后系统 |
| 审批效率 | 通过率 | 审批通过订单数 / 申请订单数 | 审批系统 |
| 收益 | 风险调整后收益 | 净收入 - 预期损失 - 运营成本 | 财务系统 |
| 用户体验 | 平均审批时长 | 总审批时长 / 审批订单数 | 审批日志 |
常见陷阱:因变量定义需注意 时间对齐。不同策略版本的放款时间不同,逾期表现窗口应保持一致(如统一观察 90 天表现)。避免使用“当前逾期率”这种随时间变化的动态指标作为因变量。
4.3 协变量(用户画像、渠道等)
协变量是可能影响因变量但与实验操纵无关的变量。在 Champion 实验中,协变量的控制与记录至关重要,否则可能导致混淆效应。常见协变量包括:
- 用户画像:年龄、收入、职业、学历、历史信用记录
- 渠道特征:申请渠道(线上/线下)、渠道来源、渠道质量评分
- 时间特征:申请时间(工作日/周末)、季节效应、节假日效应
- 产品特征:产品类型、贷款金额、贷款期限、利率
协变量处理原则:
- 记录而非控制:在实验设计阶段,协变量通常不进行人为控制,但必须完整记录
- 分层随机化:对于已知强影响协变量(如渠道质量),应在随机分组时进行分层
- 事后校正:在分析阶段,可通过回归模型或倾向得分匹配(PSM)校正协变量影响
4.4 变量定义清单模板
为确保实验变量定义的完整性与一致性,建议使用标准化模板记录所有变量。以下为推荐模板:
实验名称:新客审批策略 Champion 实验
实验编号:EXP-2025-001
【自变量定义】
- 版本 ID:Champion_v3
- 策略描述:规则集 R2 + 模型 M1(阈值 0.65)
- 生效范围:全量新客申请(渠道 A、B、C)
- 时间窗口:2025-01-01 ~ 2025-03-31
【因变量定义】
- 主要指标:DPD30+ 逾期率(观察窗口 90 天)
- 次要指标:通过率、平均审批时长
- 辅助指标:坏账率、RAR
【协变量定义】
- 用户画像:年龄(连续)、收入等级(低/中/高)、历史逾期次数
- 渠道特征:渠道 ID、渠道质量评分(1-5 分)
- 时间特征:申请月份、是否节假日
- 产品特征:贷款金额(连续)、贷款期限(月)
实操建议:在实验启动前,组织风控、数据、产品三方评审变量定义清单。重点关注因变量的 观察窗口一致性 与协变量的 完整性。遗漏关键协变量可能导致实验结论完全反转。