1. 课程导入与数据探索
在真实的数据分析工作中,我们很少一上来就做假设检验。更常见的路径是:先拿到一批数据,先看它长什么样,再决定用什么模型去描述它、用什么方法去检验它。分布拟合回答的是“这批数据像哪种概率分布”,参数检验回答的是“这种像,是不是统计上站得住脚”。两者一前一后,构成了从数据到推断的桥梁。本节作为全课程的开篇,不急于推导公式,而是先把这两个概念放回数据分析的整体流程中,并用一个客户消费金额的真实场景,完整走一遍描述性统计与可视化探索,让你看到“识别分布形态”这件事在实操中究竟怎么做。
分布拟合与参数检验在分析流程中的位置
一个典型的数据分析链条可以概括为:业务问题 → 数据获取与清洗 → 探索性分析(EDA)→ 分布假设 → 模型选择 → 参数估计与检验 → 结论与决策。分布拟合处在“探索性分析”与“模型选择”之间,它把肉眼看到的直方图形态,转化为一个可命名的概率模型;参数检验则处在“参数估计”之后,用来判断估计出的参数、以及模型本身是否与数据相容。换句话说,拟合是提出假设,检验是验证假设。很多初学者跳过探索直接套用正态分布,结果在明显右偏的消费数据上做出错误推断,这正是本节要提前建立的习惯:先看,再拟合,最后检验。
用一份消费金额数据做描述性统计
假设我们拿到某电商平台 1200 名客户近一年的消费金额(单位:元),数据已清洗掉退款与异常负值。第一步不是画图,而是算几个关键数字。用 Python 的 pandas 可以这样快速得到:
import pandas as pd
df = pd.read_csv("customer_spend.csv")
s = df["amount"]
print(s.describe())
print("偏度:", s.skew(), "峰度:", s.kurt())
print("中位数:", s.median())
假设输出为:均值约 486 元,中位数约 312 元,标准差约 402 元,最小值 18 元,最大值 3860 元,偏度约 2.1,峰度约 6.8。这组数字已经透露了重要信息:均值明显大于中位数,说明分布右侧有一条长尾,少数高消费客户把均值拉高了;偏度 2.1 远大于 0,进一步确认右偏;峰度 6.8 高于正态分布的 3,说明尖峰厚尾。此时如果直接假设正态分布,就会低估高消费区间出现的概率,也会错误地认为消费金额可以为负——而金额显然非负。这些判断不需要任何检验,仅靠描述统计就能建立初步方向。
可视化:让形态自己说话
数字之外,图形是识别分布形态最直接的工具。直方图看整体形状,箱线图看离群点与四分位结构,Q-Q 图看与某个理论分布的偏离程度。实操中建议三者结合:
- 直方图:分箱数取 20~30 之间,观察是否单峰、是否右偏、尾部有多长。本例中会看到大量客户集中在 100~400 元,随后频数快速下降并拖出一条长尾。
- 箱线图:上须之外出现大量散点,说明存在高额消费离群值,这与右偏一致,也提醒我们不要简单删除这些点,它们可能是真实的高价值客户。
- Q-Q 图:把样本分位数与正态分位数对比,若点明显向上弯曲偏离对角线,说明尾部比正态更厚,正态假设不成立。
需要强调的是,可视化不是“看一眼就完事”,而是要把观察到的特征转化为可检验的假设。看到右偏、非负、长尾,就应该把对数正态、伽马、威布尔等右偏分布列入候选,而不是只盯着正态。这正是下一阶段分布拟合的输入。
从探索结论到候选分布
把上面的观察整理成一张判断依据表,可以让后续拟合更有章法。下表是示例数据对应的探索结论,参数均为教学假设值,用于说明判断逻辑,并非真实实测结果。
| 观察到的特征 | 数值/图形证据 | 对分布选择的含义 |
|---|---|---|
| 取值非负 | 最小值 18 元 | 排除正态、t 分布等定义域含负值的模型 |
| 右偏、长尾 | 偏度 2.1,均值 > 中位数 | 优先考虑对数正态、伽马、威布尔 |
| 尖峰厚尾 | 峰度 6.8,箱线图多离群点 | 不宜用正态近似,需检验尾部拟合 |
| 单峰 | 直方图仅一个明显峰 | 排除混合分布或双峰模型 |
一个容易踩的坑:先检验后看图
不少学习者习惯直接跑一个正态性检验,看到 p 值小于 0.05 就宣布“不是正态”,然后陷入“那到底是什么分布”的困境。问题在于,检验只能否定,不能指路。正确的顺序是先用描述统计和可视化建立形态直觉,形成候选假设,再用检验去比较候选模型。以本例为例,若先做 Shapiro-Wilk 检验,几乎必然拒绝正态,但这个结论对建模帮助有限;而先看到右偏长尾,再拟合对数正态并用 K-S 检验评估,才能得到可用的模型。这个顺序习惯,将贯穿本课程后续所有章节。
本节没有涉及任何公式推导,但已经完成了分布拟合最重要的前置工作:理解数据的基本特征,识别可能的分布形态,并把观察转化为可检验的假设。带着这份探索结论进入下一阶段的拟合与参数检验,你会发现后面的方法不再是空中楼阁,而是对眼前这张右偏直方图的自然回应。