3. 检验方法选型的决策框架

假设检验方法很多,但真正困难的不是记住每个公式,而是在拿到一个研究问题时,快速判断“该用哪一种”。如果选错方法,即使计算过程无误,结论也可能完全失真。例如对三组以上数据反复做两两 t 检验,会人为放大第一类错误;把配对设计当成独立样本处理,会损失配对信息、降低检验效能;在样本量很大时对严重偏态数据仍用正态近似,则可能得到不可靠的 p 值。因此,方法选型需要一个稳定的决策框架,把研究问题、数据类型、样本设计、分布假设和样本量这五个维度串起来。

五个维度如何共同决定方法

第一个维度是研究问题。要检验的是均值差异、比例差异、方差齐性、分布形态,还是变量间的关联?问题类型直接圈定候选方法族。第二个维度是数据类型:连续型、二分类、有序分类还是计数型;是单变量还是多变量。第三个维度是样本设计:独立样本还是配对/重复测量,两组还是多组,各组样本量是否均衡。第四个维度是分布假设:数据是否近似正态、方差是否齐、是否存在明显离群值。第五个维度是样本量:小样本时正态近似不可靠,大样本时又容易把微小差异检验成“显著”,需要结合效应量判断。

这五个维度不是并列的清单,而是有先后顺序的筛选漏斗。先由研究问题确定检验目标,再由数据类型和样本设计缩小到具体方法族,最后用分布假设和样本量在参数方法与不参数方法之间做取舍。下图展示了这一决策路径的核心分支。

研究问题:检验什么? 均值 / 比例 / 方差 / 关联 / 分布 数据类型 + 样本设计 连续 / 分类 / 计数;独立 / 配对;两组 / 多组 连续型数据 均值差异 / 方差比较 分类 / 计数数据 比例 / 列联表 / 频数 关联 / 一致性 相关 / 一致性 / 独立性 正态性 + 方差齐性? Shapiro-Wilk / Levene 检验 满足 不满足 参数方法 t 检验 / ANOVA 配对 t / 重复测量 非参数方法 Mann-Whitney U Wilcoxon / Kruskal-Wallis 期望频数是否充足? 每格期望频数 ≥ 5 是 否 卡方检验 拟合优度 / 独立性 McNemar(配对) 精确检验 Fisher 精确检验 二项精确检验 变量类型组合? 连续-连续 / 分类-分类 相关分析 Pearson / Spearman Kendall's tau 一致性 / 独立性 Kappa / ICC 卡方独立性 样本量调节:小样本(如 n < 30)优先考虑精确检验或非参数方法;大样本时正态近似可用,但需报告效应量,避免“统计显著 ≠ 实际重要”。 配对设计必须使用配对方法(配对 t、Wilcoxon 符号秩、McNemar),不可拆成独立样本处理。 选型顺序:问题 → 类型/设计 → 假设 → 样本量 → 方法 每一步都需在报告中说明依据,保证可复现

把框架落到一个具体例子上

假设某教学团队想比较三种不同复习策略对考试成绩的影响,随机分配学生到 A、B、C 三组,成绩为连续型分数。按框架走:研究问题是“三组均值是否有差异”,数据类型为连续型,样本设计为独立三组,因此候选方法是单因素方差分析。接着检查分布假设:对三组分别做 Shapiro-Wilk 检验,若 p 值均大于 0.05 且 Levene 检验显示方差齐(p > 0.05),则使用经典 ANOVA;若方差不齐,可改用 Welch ANOVA;若某组严重偏态或样本量很小,则改用 Kruskal-Wallis 秩和检验。若 ANOVA 显著,再做事后多重比较(如 Tukey HSD),而不是反复做两两 t 检验。

再换一个场景:同一批学生复习前后的成绩比较。此时样本设计是配对设计,研究问题仍是均值差异,但必须使用配对 t 检验或 Wilcoxon 符号秩检验。若误用独立样本 t 检验,不仅浪费了“同一学生”这一配对信息,还会因为忽略个体差异而降低检验效能。这个对比说明,样本设计往往比分布假设更早决定方法族。

选型时最容易踩的三个坑

  • 只看数据类型,不看设计。 连续型数据不等于一定用 t 检验,配对、重复测量、多组设计都有各自对应的方法。
  • 把“正态性检验不显著”当成“数据一定正态”。 小样本时正态性检验效能低,大样本时又容易因微小偏离而拒绝,应结合直方图、Q-Q 图和样本量综合判断。
  • 忽略样本量与效应量。 大样本下几乎任何微小差异都会显著,报告时应同时给出均值差、置信区间和标准化效应量(如 Cohen's d),帮助读者判断实际意义。
实用建议:在分析开始前,先用一张“选型记录表”写下研究问题、变量类型、设计方式、正态性/方差齐性判断结果、样本量和最终方法,并注明选择理由。这张表既能防止事后随意换方法,也方便他人复核。

需要强调的是,决策框架给出的是“合理起点”,不是机械公式。实际数据往往存在缺失值、离群值、分组不均衡等复杂情况,方法选择需要在框架基础上结合专业判断。但只要能清楚回答“检验什么、数据是什么类型、样本怎么设计、假设是否满足、样本量是否足够”这五个问题,绝大多数选型困惑都能被有效收敛。