3. 检验方法选型的决策框架
假设检验方法很多,但真正困难的不是记住每个公式,而是在拿到一个研究问题时,快速判断“该用哪一种”。如果选错方法,即使计算过程无误,结论也可能完全失真。例如对三组以上数据反复做两两 t 检验,会人为放大第一类错误;把配对设计当成独立样本处理,会损失配对信息、降低检验效能;在样本量很大时对严重偏态数据仍用正态近似,则可能得到不可靠的 p 值。因此,方法选型需要一个稳定的决策框架,把研究问题、数据类型、样本设计、分布假设和样本量这五个维度串起来。
五个维度如何共同决定方法
第一个维度是研究问题。要检验的是均值差异、比例差异、方差齐性、分布形态,还是变量间的关联?问题类型直接圈定候选方法族。第二个维度是数据类型:连续型、二分类、有序分类还是计数型;是单变量还是多变量。第三个维度是样本设计:独立样本还是配对/重复测量,两组还是多组,各组样本量是否均衡。第四个维度是分布假设:数据是否近似正态、方差是否齐、是否存在明显离群值。第五个维度是样本量:小样本时正态近似不可靠,大样本时又容易把微小差异检验成“显著”,需要结合效应量判断。
这五个维度不是并列的清单,而是有先后顺序的筛选漏斗。先由研究问题确定检验目标,再由数据类型和样本设计缩小到具体方法族,最后用分布假设和样本量在参数方法与不参数方法之间做取舍。下图展示了这一决策路径的核心分支。
把框架落到一个具体例子上
假设某教学团队想比较三种不同复习策略对考试成绩的影响,随机分配学生到 A、B、C 三组,成绩为连续型分数。按框架走:研究问题是“三组均值是否有差异”,数据类型为连续型,样本设计为独立三组,因此候选方法是单因素方差分析。接着检查分布假设:对三组分别做 Shapiro-Wilk 检验,若 p 值均大于 0.05 且 Levene 检验显示方差齐(p > 0.05),则使用经典 ANOVA;若方差不齐,可改用 Welch ANOVA;若某组严重偏态或样本量很小,则改用 Kruskal-Wallis 秩和检验。若 ANOVA 显著,再做事后多重比较(如 Tukey HSD),而不是反复做两两 t 检验。
再换一个场景:同一批学生复习前后的成绩比较。此时样本设计是配对设计,研究问题仍是均值差异,但必须使用配对 t 检验或 Wilcoxon 符号秩检验。若误用独立样本 t 检验,不仅浪费了“同一学生”这一配对信息,还会因为忽略个体差异而降低检验效能。这个对比说明,样本设计往往比分布假设更早决定方法族。
选型时最容易踩的三个坑
- 只看数据类型,不看设计。 连续型数据不等于一定用 t 检验,配对、重复测量、多组设计都有各自对应的方法。
- 把“正态性检验不显著”当成“数据一定正态”。 小样本时正态性检验效能低,大样本时又容易因微小偏离而拒绝,应结合直方图、Q-Q 图和样本量综合判断。
- 忽略样本量与效应量。 大样本下几乎任何微小差异都会显著,报告时应同时给出均值差、置信区间和标准化效应量(如 Cohen's d),帮助读者判断实际意义。
需要强调的是,决策框架给出的是“合理起点”,不是机械公式。实际数据往往存在缺失值、离群值、分组不均衡等复杂情况,方法选择需要在框架基础上结合专业判断。但只要能清楚回答“检验什么、数据是什么类型、样本怎么设计、假设是否满足、样本量是否足够”这五个问题,绝大多数选型困惑都能被有效收敛。