📚 课程目录第3章置信度概念与A/B测试统计基础

3. 置信度概念与 A/B 测试统计基础：P 值、置信区间、统计功效、效应量

3.1 适用场景

结果归因阶段：当 A/B 测试实验结束，需要判断版本间的差异是否由改动引起，而非随机波动。
决策临界点：当实验观察到的指标提升微弱（如 +1%~+3%），必须依靠统计方法排除零假设。
样本量不足预警：当实验样本量受限或流量分配不均时，提前引入置信度概念以避免“伪显著”。
RICE 置信度评分前置：在计算 “Confidence” 子项前，必须先理解 P 值、置信区间等基础统计量。

3.2 前置条件

条件	说明
已完成随机分组	实验组与对照组满足同质性假设，确保统计推断有效。
数据符合独立性假设	各用户行为互不干扰，不存在用户间传染或网络效应导致的依赖。
指标类型明确	核心指标（如转化率、留存率）需确认为比率型、均值型或序数型，以选用正确的统计方法。
原始日志就绪	包含实验分组、用户 ID、行为事件时间戳、关键指标值的明细数据。

3.3 操作步骤

明确零假设与备择假设
- H₀：实验组与对照组的核心指标无差异（μₐ – μᵦ = 0）。
- H₁：实验组与对照组的核心指标存在差异（μₐ – μᵦ ≠ 0 或 μₐ > μᵦ）。
计算 P 值（P-value）
- 在 H₀ 为真的前提下，观测到当前样本数据（或更极端数据）的概率。
- 常用阈值：P < 0.05 视为统计显著。
- 使用双样本 z 检验或 t 检验（取决于样本量及方差齐性）。
```
# Python 示例（使用 scipy）
from scipy import stats

# 假设 control 和 treatment 为两组指标数据
t_stat, p_value = stats.ttest_ind(treatment, control)
print(f"P值: {p_value:.4f}")
```

计算置信区间（Confidence Interval）

反映差异估计的可靠范围：在 95% 置信水平下，真实差异落在该区间内的概率为 95%。
区间不包含 0 时，等价于 P < 0.05。

# 手动计算 95% CI
from scipy import stats
import numpy as np

diff = np.mean(treatment) - np.mean(control)
se = np.sqrt(np.var(treatment)/len(treatment) + np.var(control)/len(control))
ci_low = diff - 1.96 * se
ci_high = diff + 1.96 * se
print(f"95% CI: [{ci_low:.4f}, {ci_high:.4f}]")

计算效应量（Effect Size）
- 量化实际差异的大小，常用 Cohen’s d = (μₐ – μᵦ) / pooled_std。
- 效应量不受样本量影响，可跨实验比较。

评估统计功效（Statistical Power）

在给定效应量、样本量和显著性水平下，正确拒绝 H₀ 的概率。
一般要求 Power ≥ 0.8，避免“假阴性”。

# 使用 statsmodels 估算统计功效
from statsmodels.stats.power import TTestIndPower

analysis = TTestIndPower()
power = analysis.solve_power(effect_size=0.2, nobs1=5000, alpha=0.05)
print(f"统计功效: {power:.3f}")

3.4 核心概念对比表

概念	定义	解读要点	常见误用
P 值	H₀ 为真时，观测到当前结果或更极端结果的概率	P < 0.05 是统计显著，≠ 实际显著	将 P 值当作 H₀ 为真的概率
置信区间	以一定置信水平（如 95%）包含真实差异的区间	区间宽度反映估计精度	认为 95% 置信区间包含总体均值的概率为 95%
统计功效	在给定 α 和效应量下，正确拒绝 H₀ 的概率	功效 ≥ 0.8 为可接受	忽视功效导致“阴性结果”误判
效应量	标准化后的组间差异大小	Cohen’s d: 0.2(小), 0.5(中), 0.8(大)	仅依赖 P 值，忽略实际效果

经验总结：在 A/B 测试输出报告中，建议同时展示 P 值 与 95% 置信区间。P 值告诉“是否零假设被拒绝”，置信区间告诉“差异究竟有多大”，两者互补。

  关键公式（未标准化差异的置信区间）：

  CI = (x̄ₜ – x̄𝒸) ± z_α/₂ · √(sₜ²/nₜ + s𝒸²/n𝒸)

  其中 z_α/₂ = 1.96（95% 置信水平）。

3.5 输入输出物

类型	物品	格式/示例
输入	实验分组原始明细数据	CSV / Parquet，含 group、user_id、conversion_flag、revenue
输入	显著性水平 α（阈值）	通常 0.05，预注册
输出	P 值报告	浮点数，保留 4 位小数
输出	置信区间	[lower, upper] 格式，单位与指标一致
输出	效应量与统计功效	Cohen’s d + Power 数值

3.6 责任边界

数据分析师/科学家：负责选择合适的检验方法，完成 P 值、置信区间与统计功效的计算，提供可复现代码。
产品经理：根据置信度、置信区间与效应量判断业务价值，做出上线/迭代/下线决策。
工程师：确保实验分流逻辑正确，日志埋点完整，且在计算阶段不引入数据泄露。
审阅人（Senior）：对统计假设、多重比较修正（如 Bonferroni）、功效分析进行二次核验。

3.7 记录材料

实验统计报告 Excel/Notebook：包含每一组样本量、均值、标准差；P 值；95% CI；效应量。
统计检验选择说明：如 t 检验、z 检验、非参数检验的选择理由。
功效分析日志：使用的 effect_size、alpha、power 目标、最小样本量需求。
多重比较修正记录：若涉及多指标或多版本，记录是否应用了 Bonferroni、Holm 或 FDR 校正。

3.8 异常处理

异常现象	可能原因	处理方式
P 值 < 0.05 但效应量极小	样本量过大导致统计显著但实际无意义	以效应量为主要决策依据，拒绝业务上无效的小改进
置信区间宽度过大	样本量不足或指标方差偏高	延长实验周期或增加流量，重新计算 CI
统计功效 < 0.5	样本量不足以检测到预期效应量	重新进行功效分析，扩大样本量或提高效应量目标
数据不满足正态性	极端值或偏态分布	选用非参数检验（Mann–Whitney U），或通过 Bootstrap 置信区间
多重比较未校正	同时检验多个主指标或变体	应用 Bonferroni 校正：α_adj = α / 比较次数

常见陷阱：不要因为 P < 0.05 就直接上线。必须检查置信区间下界是否仍高于业务最小可接受提升（MIE），同时确认统计功效足够以避免“假阴性”风险。

3.9 验收标准

所有计算脚本可独立复现，输入数据与输出结果一一对应。
P 值、置信区间、效应量与统计功效四者齐全，且以统一表格或报告形式呈现。
若涉及多个指标，必须在报告中标注是否经过多重比较校正。
效应量解释与业务语境对齐：Cohen’s d 或绝对提升比例均需给出业务阈值。
统计功效 ≥ 0.8 或已说明样本量限制。

  小结：置信度不是单一指标，而是由 P 值、置信区间、效应量与统计功效构成的完整证据链。在 RICE 框架中，Confidence 子项正是基于这四个维度的综合评分，而非只看 P 值。