第4章:Z检验与t检验 — 适用场景对比、前提条件、检验统计量公式
在A/B测试的统计推断中,Z检验和t检验是评估两组差异是否显著的两种最常用方法。许多分析师容易在“到底该用哪一个”上犯错,根源在于混淆了总体方差是否已知、样本量大小、以及数据分布形态三个关键前提。本章从概念通识出发,通过对比、公式拆解和决策流程,帮你彻底厘清两者的边界。
核心区分口诀:
“方差已知用Z,方差未知用t;大样本可用Z(近似),小样本必须用t。”
“方差已知用Z,方差未知用t;大样本可用Z(近似),小样本必须用t。”
4.1 核心概念定义
Z检验和t检验都属于参数检验,用于检验样本均值与总体均值是否存在显著差异(单样本),或两个独立样本的均值是否存在显著差异(双样本)。两者的数学逻辑完全相同:计算检验统计量,与临界值比较,得到p值。
关键区别在于:
- Z检验:假设总体方差σ²已知,或样本量足够大(通常n > 30)时可用样本标准差近似总体标准差。
- t检验:总体方差σ²未知,且样本量较小(n ≤ 30)时使用,通过样本标准差s估计σ,并引入自由度矫正。
为什么小样本不能用Z?
因为此时样本标准差s对总体标准差σ的估计有较大不确定性,t分布提供的“肥尾”能弥补这种不确定性带来的误差。随着样本量增大,t分布趋近于标准正态分布,因此大样本下两者结果几乎一致。
因为此时样本标准差s对总体标准差σ的估计有较大不确定性,t分布提供的“肥尾”能弥补这种不确定性带来的误差。随着样本量增大,t分布趋近于标准正态分布,因此大样本下两者结果几乎一致。
4.2 前提条件对比
| 条件维度 | Z检验 | t检验 |
|---|---|---|
| 总体方差 | 已知(σ²已知) | 未知(需用s²估计) |
| 样本量 | 大样本(n > 30) | 小样本(n ≤ 30) 大样本也可用但属于保守选择 |
| 数据分布 | 正态分布 或 大样本近似正态 | 正态分布(严重偏态时慎用) |
| 适用指标 | 均值、比例(比例检验常用Z) | 均值(连续型指标) |
| 检验统计量分布 | 标准正态分布 N(0,1) | t分布(自由度n-1) |
误区警示:许多人认为“只要n>30就自动用Z检验”。这是错误的!
— 如果总体方差已知且数据近似正态,无论n多大都可以用Z。
— 如果总体方差未知,n>30时Z检验和t检验结果非常接近,但更规范的做法仍然是t检验,因为t分布在大样本下自动收敛到正态,且不需要假设σ已知。
— 如果总体方差已知且数据近似正态,无论n多大都可以用Z。
— 如果总体方差未知,n>30时Z检验和t检验结果非常接近,但更规范的做法仍然是t检验,因为t分布在大样本下自动收敛到正态,且不需要假设σ已知。
4.3 检验统计量公式
以下公式均以单样本均值检验为例(双样本公式类似,仅增加合并方差项)。
Z检验统计量
Z = (x̄ - μ₀) / (σ / √n)
其中:
x̄ = 样本均值
μ₀ = 原假设下的总体均值
σ = 已知的总体标准差
n = 样本量
t检验统计量
t = (x̄ - μ₀) / (s / √n)
其中:
s = 样本标准差(无偏估计)
自由度 df = n - 1
s = √[ Σ(xᵢ - x̄)² / (n-1) ]
公式记忆技巧:Z和t的分子完全相同(样本均值与理论均值的距离),分母都是“标准误”。唯一的差异在于分母用的是总体标准差σ还是样本标准差s。当s替换σ时,t分布自动提供了更宽的临界值来补偿估计误差。
4.4 实际应用边界(A/B测试场景)
在A/B测试实践中,绝大多数指标属于比例型(转化率、点击率)或均值型(人均时长、平均支付金额)。
- 比例类指标:通常用Z检验(更精确地说是双比例Z检验),因为比例的标准差可由原假设下的p₀直接计算(方差已知)。
- 均值类指标:总体方差几乎总是未知,所以应当优先选择独立样本t检验(Welch t检验更稳健,不假设方差相等)。即使样本量达到数万,t检验和Z检验的p值差异极小,但t检验不违反任何假设,是更安全的默认选择。
- 小样本A/B测试(每组几十到几百人):必须使用t检验,否则会低估极端值的影响,导致假阳性率升高。
4.5 常见误区辨析
- 误区一:“Z检验比t检验更精确”——错误。Z检验只在总体方差已知时才精确,否则使用未知方差会引入偏差。t检验通过自由度矫正反而更可靠。
- 误区二:“大样本下t检验≈Z检验,所以用哪个都行”——原则上可以,但推荐统一使用t检验,因为它不需要额外假设方差已知,且软件默认输出t检验更普遍。
- 误区三:“t检验要求数据严格正态”——轻度偏态对t检验的稳健性影响不大(中心极限定理在样本量≥30时已起作用),但严重偏态或存在极值时应考虑非参数检验(如Mann-Whitney U检验)。
- 误区四:“Z检验只能用于均值”——实际上Z检验也广泛用于比例差异检验(如A/B测试的转化率对比),此时使用pooled标准误。
4.6 决策流程图:到底该用Z还是t?
4.7 练习题
- 场景判断:某A/B测试收集了对照组和实验组各25名用户的人均访问时长(秒)。总体方差未知。你应选用Z检验还是t检验?
- 公式填空:单样本t检验的统计量中,分母是______,它等于______除以______。
- 辨析:有人说“样本量越大,Z检验越优于t检验”,这个说法对吗?为什么?
- 计算:假设你在A/B测试中观察到控制组转化率10%(n=1000),实验组转化率12%(n=1000),计算Z统计量(公式:Z = (p₁ - p₂) / √[p̄(1-p̄)(1/n₁+1/n₂)],其中p̄为合并比例)。
参考答案提示:
题1:t检验(小样本且方差未知)。
题2:样本标准误 s/√n。
题3:不对。大样本下两者结果接近,但t检验更保守且不依赖方差已知假设,应作为默认选择。
题4:合并比例 p̄ = (1000×0.10 + 1000×0.12)/(2000) = 0.11;Z = (0.12 - 0.10) / √[0.11×0.89×(1/1000+1/1000)] ≈ 1.43,未达到0.05显著性水平(Z临界值1.96)。
题1:t检验(小样本且方差未知)。
题2:样本标准误 s/√n。
题3:不对。大样本下两者结果接近,但t检验更保守且不依赖方差已知假设,应作为默认选择。
题4:合并比例 p̄ = (1000×0.10 + 1000×0.12)/(2000) = 0.11;Z = (0.12 - 0.10) / √[0.11×0.89×(1/1000+1/1000)] ≈ 1.43,未达到0.05显著性水平(Z临界值1.96)。