第二章 归因前置条件与数据准备:数据源确认、埋点规范、时间窗口、样本量要求
归因分析的可信度完全取决于数据基础的完整性、准确性与一致性。在开展任何归因计算之前,必须系统性地完成数据源确认、埋点规范审查、时间窗口设定与样本量校验四项前置准备。本章按照标准操作流程(SOP)提供从数据就绪到归因启动的完整操作指引,确保每一环节可执行、可验证、可追溯。
核心原则:没有经过前置条件校验的数据,归因结果不具备业务决策效力。数据准备阶段投入 1 小时,可避免后期归因偏差导致的数十小时返工与决策误判。
2.1 适用场景
本章操作适用于以下典型场景:
- 新功能上线评估——AI 功能首次发布后,需要量化其对核心指标(转化率、留存、GMV 等)的影响。
- 功能迭代优化——已有功能的重大版本更新,需要评估新版本的效果提升幅度。
- 资源投入决策——多团队并行开发的功能,需要归因分析以确定资源分配优先级。
- 跨团队协作归因——涉及产品、算法、运营、工程多方的归因项目,需要统一数据基础与口径。
2.2 前置条件
开始本章操作前,需确认以下条件已全部满足:
- 归因目标与 KPI 已明确定义(参考第一章输出)。
- 归因模型已选定(首次点击 / 末次点击 / 多触点 / 时间衰减等)。
- 数据源系统可访问(业务数据库、埋点系统、日志系统、第三方平台 API)。
- 数据访问权限已获取(至少具备读权限,建议具备临时写权限用于校验)。
- 埋点规范文档已归档(事件定义、参数说明、触发条件、版本记录)。
常见误区:在未确认数据源完整性和埋点一致性的情况下直接进入归因计算,是导致归因结果不可用的首要原因。请务必按本章流程逐项完成前置校验。
2.3 操作步骤
步骤一:数据源确认与评估
梳理所有可能包含归因所需信息的数据源,评估其完整性、准确性与时效性。使用以下清单逐一核对:
| 数据源类型 | 典型系统 | 关键字段 | 确认项 |
|---|---|---|---|
| 业务数据库 | MySQL / PostgreSQL / ClickHouse | 用户 ID、时间戳、行为类型、订单 ID | 数据是否实时同步;历史数据保留时长 |
| 埋点系统 | 神策 / GrowingIO / Firebase | 事件名、参数、设备 ID、会话 ID | 事件定义是否与文档一致;参数是否完整 |
| 日志系统 | ELK / Splunk / 自研 | 时间戳、请求体、响应体、状态码 | 日志采样率;日志保留周期 |
| 第三方平台 | Adjust / AppsFlyer / 腾讯广告 | 安装来源、渠道 ID、归因链接 | API 是否可用;数据延迟时间 |
完成确认后,输出 数据源确认清单,标记每个数据源的状态(正常 / 异常 / 不可用)。
步骤二:埋点规范审查与对齐
将实际埋点数据与埋点规范文档进行比对,确保 事件命名、参数定义、触发时机 三者完全一致。采用以下操作流程:
- 导出最近 7 天的原始埋点数据(JSON 格式),提取事件名与参数集合。
- 与埋点规范文档逐条比对,记录差异。
- 对差异项进行分级(阻断性 / 非阻断性),阻断性差异必须修复后方可进入下一步。
// 埋点规范对比样例(JSON 格式)
// 规范定义的事件结构
{
"event": "ai_feature_click",
"params": {
"feature_id": "string",
"source_page": "string",
"timestamp": "int64"
}
}
// 实际采集到的事件(发现 missing field: source_page)
{
"event": "ai_feature_click",
"params": {
"feature_id": "rec_123",
"timestamp": 1712054400000
}
}
// → 阻断性差异:缺少 source_page,归因无法定位来源
输出 埋点规范对齐报告,记录差异项、修复责任人及修复时间。
步骤三:时间窗口设定
根据归因目标与业务特性,定义 归因周期、回溯窗口 和 转化延迟 三个核心参数。参考下表确定初始值:
| 参数 | 定义 | 推荐初始值 | 调整依据 |
|---|---|---|---|
| 归因周期 | 从用户首次触达到完成转化的最大时间范围 | 7 天 | 业务转化周期中位数 × 1.5 |
| 回溯窗口 | 归因计算时向前追溯的用户行为天数 | 14 天 | 历史数据覆盖度 + 用户复访间隔 |
| 转化延迟 | 用户触发功能到产生转化指标的实际延迟 | 0-3 天 | 分位数分析(P50 / P90) |
输出 时间窗口定义文档,包含参数取值、设定理由及后续调整触发条件。
步骤四:样本量计算与校验
基于预期最小效应量与统计显著性要求,计算归因分析所需的最小样本量。使用以下参考公式(两样本比例检验):
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²
其中:
Z_α/2 = 1.96 (α = 0.05,双尾)
Z_β = 0.84 (β = 0.20,统计功效 80%)
p₁ = 对照组预期转化率
p₂ = 实验组预期转化率(p₁ + 最小效应量)
实际操作中可使用 Python 快速计算:
import math
def min_sample_size(p1, p2, alpha=0.05, beta=0.20):
z_alpha = 1.96 # 双尾
z_beta = 0.84
p = (p1 + p2) / 2
numerator = (z_alpha + z_beta)**2 * (p1*(1-p1) + p2*(1-p2))
denominator = (p1 - p2)**2
return math.ceil(numerator / denominator)
# 示例:对照组 3% 转化率,预期提升 0.5 个百分点
print(min_sample_size(0.030, 0.035)) # 输出: 10241
输出 样本量计算报告,包含参数取值、计算结果与实际可用样本量的对比。
步骤五:数据质量预检查
在正式进入归因计算前,执行四项数据质量检查:
| 检查项 | 检查方法 | 通过标准 |
|---|---|---|
| 完整性 | 统计各字段空值率 | 关键字段空值率 < 5% |
| 一致性 | 随机抽取 100 条记录与源系统比对 | 一致率 ≥ 98% |
| 时效性 | 检查数据延迟时间 | 延迟 < 12 小时(实时场景 < 1 分钟) |
| 去重性 | 按主键(事件 ID / 会话 ID)检查重复 | 重复率 < 0.5% |
输出 数据质量检查报告,标记每项检查结果(通过 / 警告 / 失败)。
检查清单速记:数据源全、埋点齐、窗口准、样本够、质量过。五项全部通过方可进入归因计算阶段。
2.4 输入输出物
| 阶段 | 输入物 | 输出物 | 格式 |
|---|---|---|---|
| 数据源确认 | 数据源清单、系统访问地址、权限凭证 | 数据源确认清单 | 表格 / Markdown |
| 埋点规范审查 | 埋点规范文档、原始埋点数据(7天) | 埋点规范对齐报告 | 表格 + JSON 差异说明 |
| 时间窗口设定 | 历史转化时间分布数据 | 时间窗口定义文档 | 表格 + 决策依据 |
| 样本量计算 | 预期转化率、最小效应量、统计参数 | 样本量计算报告 | PDF / Notebook |
| 数据质量检查 | 数据源采样数据、质量规则 | 数据质量检查报告 | 表格 + 状态标记 |
2.5 责任边界
| 角色 | 职责范围 | 交付物 | 验收人 |
|---|---|---|---|
| 数据工程师 | 数据源接入、数据清洗、实时性保障 | 数据源确认清单、数据质量报告 | 数据分析师 |
| 产品经理 | 归因目标定义、KPI 对齐、业务场景确认 | 时间窗口定义文档、归因目标说明 | 项目经理 |
| 数据分析师 | 埋点规范审查、样本量计算、校验执行 | 埋点规范对齐报告、样本量计算报告 | 数据工程师 |
| 算法工程师 | 归因模型选择、参数配置、计算逻辑验证 | 归因模型配置说明 | 数据分析师 |
| QA 工程师 | 数据质量验收、埋点数据抽样验证 | 数据质量检查报告(验收签字) | 项目经理 |
2.6 记录材料
以下记录材料须在数据准备阶段完整填写并存档,作为归因项目的可追溯凭证:
- 数据源确认清单(含系统名称、版本、访问方式、状态标记)
- 埋点规范比对表(含事件名、参数字段、触发条件、差异等级、修复记录)
- 时间窗口定义记录(含参数取值、设定理由、调整历史)
- 样本量计算过程表(含输入参数、中间计算步骤、最终结果)
- 数据质量检查表(含检查项、抽样记录、通过/失败标记)
记录建议:所有记录材料使用统一的版本号(如 v1.0.0)管理,变更时更新版本并注明变更原因。建议使用 Git 或 Wiki 进行版本控制。
2.7 异常处理
| 异常场景 | 发现时机 | 处理措施 | 修复后动作 |
|---|---|---|---|
| 数据源字段缺失 | 步骤一 | 联系数据工程师补全字段,或从其他源获取替代数据 | 重新执行步骤一、步骤五 |
| 埋点数据延迟 > 12h | 步骤二 / 步骤五 | 排查埋点上报链路,修复后等待数据追平 | 重新执行步骤五 |
| 时间窗口内数据量不足 | 步骤三 | 扩大回溯窗口或延长归因周期;如无法调整则标记为低置信度 | 重新执行步骤三、步骤四 |
| 样本量不满足统计要求 | 步骤四 | 增大实验组规模 / 延长实验时间 / 提高效应量预期 | 重新执行步骤四 |
| 数据一致性校验失败 | 步骤五 | 定位不一致原因(抽样子集 vs 全量),修复后重新校验 | 重新执行步骤五 |
重要提醒:任何异常修复后,必须从该异常所在步骤开始重新执行后续所有步骤,确保数据链路完全闭合。禁止仅修复不校验即进入归因计算。
2.8 验收标准
本章前置准备工作完成并满足以下全部标准后,方可进入下一章(归因模型配置与计算):
| 验收项 | 验收标准 | 验收方法 |
|---|---|---|
| 数据源完整性 | 所有已确认数据源均标记为“正常” | 核对数据源确认清单 |
| 埋点规范一致性 | 阻断性差异为零,非阻断性差异已记录并确认可接受 | 核对埋点规范对齐报告 |
| 时间窗口合理性 | 参数取值有明确业务依据,且覆盖 ≥ 90% 的转化行为 | 审查时间窗口定义文档 + 分位数验证 |
| 样本量充足性 | 实际可用样本量 ≥ 计算最小样本量 | ← 上一章 📖 返回目录 下一章 →