1. 课程导入与问题界定

假设检验是统计推断的核心工具之一，它让我们在只掌握样本信息的情况下，对总体层面的命题做出有概率依据的判断。在数据分析的日常工作中，它被广泛用于A/B测试效果评估、产品质量抽检、医学试验、用户行为差异分析等场景。然而，工具越常用，误用也越普遍。本课程的目标不是重新推导公式，而是帮助你在面对一个真实业务或科研问题时，能够选对检验方法、正确执行、并准确解释结果。作为开篇，我们先厘清假设检验到底在做什么、常见误用长什么样，以及整门课的学习路径。

假设检验在数据分析中扮演什么角色

假设检验的本质，是在“随机波动”与“真实效应”之间做一次有规则的裁决。它的基本逻辑可以概括为：先设定一个关于总体的原假设 H₀（通常表示“没有差异”“没有效应”），再设定备择假设 H₁；然后假定 H₀ 成立，计算当前样本结果或更极端结果出现的概率，即 p 值；最后与预先设定的显著性水平 α 比较，决定是否拒绝 H₀。

需要强调的是，假设检验回答的是“数据是否提供了足够证据反对 H₀”，而不是“H₁ 为真的概率是多少”。这个区别是后续所有结果解释的基石。它也不是万能的：检验只能处理可量化的不确定性，无法替代因果设计，也无法弥补样本偏差。因此，假设检验在数据分析链条中的位置，是在数据质量与设计合理的前提下，为决策提供一个概率化的证据门槛。

一个具体的误用案例

假设某电商团队想验证新版详情页是否提升下单转化率。他们做了如下操作：把用户随机分成两组，A 组旧版、B 组新版，各 5000 人；运行一周后，A 组转化率 3.2%，B 组 3.6%。团队用两比例 z 检验得到 p≈0.03，于是宣布“新版显著更好，立即全量上线”。这个结论看似合理，但至少有三个问题值得追问。

第一，效应量是否值得上线。0.4 个百分点的绝对提升，对应相对提升约 12.5%，是否覆盖改版成本与风险，需要业务判断，而 p 值本身不回答这个问题。第二，检验是否满足前提。两比例检验要求观测相互独立、样本足够大；若同一用户多次曝光、或分组存在污染，独立性就被破坏。第三，是否只看了这一个指标。如果团队同时观察了转化率、客单价、停留时长、退货率等七八个指标，只挑显著的汇报，就构成多重比较问题，p≈0.03 的说服力会大打折扣。

更规范的做法是：事先确定主指标与 α=0.05，计算所需样本量，运行结束后报告两组的转化率差、相对提升、95% 置信区间，并结合业务成本做决策。例如若差值的 95% 置信区间为 [0.05%, 0.75%]，说明提升方向较稳定但幅度可能很小，团队可据此决定是否先小流量灰度。这个案例说明：假设检验只是证据链的一环，选型、执行、解释缺一不可。

本课程要解决的三类问题

基于上述背景，本课程围绕三条主线展开。其一是选型：面对均值比较、比例比较、方差比较、分布拟合、相关性、多组比较等不同问题，如何根据数据类型、组数、样本量、独立性与前提条件，选出合适的检验方法。其二是执行：如何正确设定 H₀ 与 H₁、选择单双侧、确定 α、计算样本量、检查前提、处理多重比较。其三是解释：如何正确理解 p 值、置信区间与效应量，如何区分统计显著与实际显著，如何避免常见逻辑谬误。

学习路径上，我们会先建立假设检验的共同逻辑框架，再按“连续型数据—分类型数据—多组与交互—非参数与特殊场景”的顺序逐一展开具体方法，每种方法都配有选型判断、计算示例与结果解读。课程中会反复使用同一套判断语言，帮助你在真实问题面前快速定位方法，而不是死记公式。

先建立一张“选型前自检”清单

在进入具体方法之前，建议养成检验前自检的习惯。下面这份清单可直接用于实际项目，字段按真实分析场景设计，可根据需要增删。