第3章 变量类型识别
自变量、因变量、协变量的区分与实例
在AB实验的假设构建阶段,明确定义三类变量是实验设计正确性的基础。混淆变量类型会导致实验结果无法归因、统计功效下降或产生虚假结论。本章通过结构化流程,帮助实验团队精准识别与定义自变量、因变量和协变量。
核心原则: 自变量是实验者主动操控的原因变量,因变量是衡量实验效果的观测变量,协变量是对结果有潜在影响但实验前已固定或需要统计修正的控制变量。
适用场景
- 设计新功能AB实验时,需要明确“改变什么”与“测量什么”。
- 复现或审计已有实验,检查变量定义是否合理。
- 在实验前进行变量清单核查,避免遗漏重要协变量。
- 跨团队协作时,统一变量命名和分类标准。
前置条件
- 已完成业务问题到假设的转化(参考第2章)。
- 实验团队已初步界定“干预”与“成功指标”。
- 了解实验对象(用户、流量、单元)的基本特征。
- 准备变量定义模板(见“记录材料”部分)。
操作步骤
- 列出所有候选变量: 根据实验假设,头脑风暴出所有可能影响结果的变量,包括预期操控的、预期测量的,以及可能干扰的。
- 按三道筛网分类:
- 第一筛: 该变量是否由实验者主动赋值/改变? → 是 → 自变量
- 第二筛: 该变量是否是实验想要观察/测量的结果? → 是 → 因变量
- 第三筛: 该变量是否在实验前已存在且对因变量有潜在影响,但实验者不操控? → 是 → 协变量
- 绘制变量关系图: 将三类变量用箭头表示因果/控制关系。
- 检查完整性: 确保每个自变量至少对应一个因变量,每个因变量有明确的测量方法。
- 记录并评审: 将最终变量清单填入模板,由数据科学家和产品经理共同签字。
变量类型关系图
下图使用标准AB实验案例(新推荐算法vs旧算法)展示三类变量的典型关系:
输入输出物
| 输入物 | 提供方 | 输出物 | 接收方 |
|---|---|---|---|
| 实验假设陈述(来自第2章) | 产品经理 | 变量类型定义表(含名称、类型、测量方式) | 数据分析师、工程师 |
| 业务指标体系 | 数据团队 | 变量关系图(SVG或手绘) | 实验评审委员会 |
| 用户画像/历史数据概要 | 数据仓库 | 协变量候选列表 | 统计建模人员 |
责任边界
- 产品经理: 确定自变量(实验方案)和因变量(核心业务指标),提供业务解释。
- 数据分析师: 检查协变量、定义变量测量口径,确保统计可行性。
- 工程师: 实现自变量分配逻辑,保证数据采集字段与变量定义一致。
- 评审委员会(PM/DS/Eng主管): 对变量定义进行最终审批,防止类型误用。
记录材料
变量定义模板(推荐复制到文档中)
实验名称:____________________ 版本日期:____________
1. 自变量(实验变量)
- 名称:________________
- 解释:________________
- 取值:例如 [新算法, 旧算法]
- 分配方式:________________
2. 因变量(结果变量)
- 名称:________________
- 解释:________________
- 计算公式:________________
- 聚合周期:________________
3. 协变量(控制变量)
- 名称:________________
- 解释:________________
- 采集时机:________________
- 预期作用方向:________________
4. 其他候选变量(已排除)及排除理由
- 变量1:________________ 理由:________________
- 变量2:________________ 理由:________________
异常处理
| 异常情况 | 判断方法 | 处理措施 |
|---|---|---|
| 变量类型模糊(既可作自变量又可作协变量) | 检查是否可随机分配;若不可随机分配则为协变量 | 若不可操控则归为协变量,并在事后分层或CUPED中修正 |
| 因变量与自变量因果倒置 | 复盘假设链:“改变X→导致Y变化”逻辑是否成立 | 重写假设,必要时反向实验 |
| 协变量数量过多(>5个) | 统计功效计算显示分层后样本量不足 | 优先保留与因变量相关性最强的2-3个协变量,其余做敏感性分析 |
| 协变量在实验中可能被改变 | 协变量定义要求“实验前固定不变” | 找出干扰变量,将其从协变量中移除,或改为自变量分层因素 |
验收标准
- 类型正确: 所有变量经过三道筛网检查,无歧义分类。
- 关系清晰: 变量关系图中箭头指向符合因果逻辑,协变量以虚线连接。
- 文档完整: 变量定义模板已填写并签名,存储于项目共享空间。
- 评审通过: 至少经数据分析师和产品经理双人确认,无未解决争议。
常见陷阱: 将不可操控的变量(如用户性别、设备型号)当作自变量。牢记:自变量必须是能随机分配或正交操控的变量,否则实验无法因果归因。