1. 课程导入与数据探索

在真实的数据分析工作中,我们很少一上来就做假设检验。更常见的路径是:先拿到一批数据,先看它长什么样,再决定用什么模型去描述它、用什么方法去检验它。分布拟合回答的是“这批数据像哪种概率分布”,参数检验回答的是“这种像,是不是统计上站得住脚”。两者一前一后,构成了从数据到推断的桥梁。本节作为全课程的开篇,不急于推导公式,而是先把这两个概念放回数据分析的整体流程中,并用一个客户消费金额的真实场景,完整走一遍描述性统计与可视化探索,让你看到“识别分布形态”这件事在实操中究竟怎么做。

分布拟合与参数检验在分析流程中的位置

一个典型的数据分析链条可以概括为:业务问题 → 数据获取与清洗 → 探索性分析(EDA)→ 分布假设 → 模型选择 → 参数估计与检验 → 结论与决策。分布拟合处在“探索性分析”与“模型选择”之间,它把肉眼看到的直方图形态,转化为一个可命名的概率模型;参数检验则处在“参数估计”之后,用来判断估计出的参数、以及模型本身是否与数据相容。换句话说,拟合是提出假设,检验是验证假设。很多初学者跳过探索直接套用正态分布,结果在明显右偏的消费数据上做出错误推断,这正是本节要提前建立的习惯:先看,再拟合,最后检验。

消费金额数据探索 → 分布识别 → 拟合与检验 ① 原始数据与描述统计 样本量 n = 1200 均值 ≈ 486 元 中位数 ≈ 312 元 标准差 ≈ 402 元 最小值 18 元 最大值 3860 元 偏度 ≈ 2.1(右偏) 峰度 ≈ 6.8(尖峰) 均值 > 中位数 提示存在长右尾 ② 可视化识别形态 消费金额(元) 频数 右偏、单峰、长尾 ③ 候选分布与检验 对数正态分布 右偏、正值、长尾 伽马分布 形状参数控制偏度 指数分布 仅适合无记忆场景 K-S 检验 / A-D 检验 p 值判断拟合优度

用一份消费金额数据做描述性统计

假设我们拿到某电商平台 1200 名客户近一年的消费金额(单位:元),数据已清洗掉退款与异常负值。第一步不是画图,而是算几个关键数字。用 Python 的 pandas 可以这样快速得到:

import pandas as pd
df = pd.read_csv("customer_spend.csv")
s = df["amount"]
print(s.describe())
print("偏度:", s.skew(), "峰度:", s.kurt())
print("中位数:", s.median())

假设输出为:均值约 486 元,中位数约 312 元,标准差约 402 元,最小值 18 元,最大值 3860 元,偏度约 2.1,峰度约 6.8。这组数字已经透露了重要信息:均值明显大于中位数,说明分布右侧有一条长尾,少数高消费客户把均值拉高了;偏度 2.1 远大于 0,进一步确认右偏;峰度 6.8 高于正态分布的 3,说明尖峰厚尾。此时如果直接假设正态分布,就会低估高消费区间出现的概率,也会错误地认为消费金额可以为负——而金额显然非负。这些判断不需要任何检验,仅靠描述统计就能建立初步方向。

可视化:让形态自己说话

数字之外,图形是识别分布形态最直接的工具。直方图看整体形状,箱线图看离群点与四分位结构,Q-Q 图看与某个理论分布的偏离程度。实操中建议三者结合:

  • 直方图:分箱数取 20~30 之间,观察是否单峰、是否右偏、尾部有多长。本例中会看到大量客户集中在 100~400 元,随后频数快速下降并拖出一条长尾。
  • 箱线图:上须之外出现大量散点,说明存在高额消费离群值,这与右偏一致,也提醒我们不要简单删除这些点,它们可能是真实的高价值客户。
  • Q-Q 图:把样本分位数与正态分位数对比,若点明显向上弯曲偏离对角线,说明尾部比正态更厚,正态假设不成立。

需要强调的是,可视化不是“看一眼就完事”,而是要把观察到的特征转化为可检验的假设。看到右偏、非负、长尾,就应该把对数正态、伽马、威布尔等右偏分布列入候选,而不是只盯着正态。这正是下一阶段分布拟合的输入。

从探索结论到候选分布

把上面的观察整理成一张判断依据表,可以让后续拟合更有章法。下表是示例数据对应的探索结论,参数均为教学假设值,用于说明判断逻辑,并非真实实测结果。

观察到的特征 数值/图形证据 对分布选择的含义
取值非负 最小值 18 元 排除正态、t 分布等定义域含负值的模型
右偏、长尾 偏度 2.1,均值 > 中位数 优先考虑对数正态、伽马、威布尔
尖峰厚尾 峰度 6.8,箱线图多离群点 不宜用正态近似,需检验尾部拟合
单峰 直方图仅一个明显峰 排除混合分布或双峰模型
探索阶段的目标不是“确定”分布,而是“缩小候选范围”。把候选分布控制在 2~3 个,后续的拟合与检验才有针对性,也避免了对所有分布盲目试一遍。

一个容易踩的坑:先检验后看图

不少学习者习惯直接跑一个正态性检验,看到 p 值小于 0.05 就宣布“不是正态”,然后陷入“那到底是什么分布”的困境。问题在于,检验只能否定,不能指路。正确的顺序是先用描述统计和可视化建立形态直觉,形成候选假设,再用检验去比较候选模型。以本例为例,若先做 Shapiro-Wilk 检验,几乎必然拒绝正态,但这个结论对建模帮助有限;而先看到右偏长尾,再拟合对数正态并用 K-S 检验评估,才能得到可用的模型。这个顺序习惯,将贯穿本课程后续所有章节。

本节没有涉及任何公式推导,但已经完成了分布拟合最重要的前置工作:理解数据的基本特征,识别可能的分布形态,并把观察转化为可检验的假设。带着这份探索结论进入下一阶段的拟合与参数检验,你会发现后面的方法不再是空中楼阁,而是对眼前这张右偏直方图的自然回应。