3、数据分布分析：正态分布与偏态分布、箱线图与分位数、数据分布可视化方法
做异常检测，说白了就是在跟数据的“脾气”打交道。你得先摸清楚它平时什么样，才能知道什么时候它“不对劲”。这一节，我们就聊聊怎么读懂数据的分布。
我个人习惯，拿到任何监控指标的第一件事，不是直接套算法，而是先画个分布图看一眼。为什么？因为数据的分布形态，直接决定了你该用哪种阈值策略。正态分布和偏态分布的处理方式，完全是两码事。
3.1 正态分布 vs 偏态分布
先说说正态分布。你想想看，很多自然现象都近似正态——比如人的身高、测量误差。在运维里，一些平稳业务的请求延迟、CPU 使用率，在负载稳定时也接近正态。它的特点是“中间高、两边低”，像个钟形。
对于正态分布的数据，设定阈值就很简单了。我常用“均值 ± 3σ”作为告警线。理论上，落在 3σ 之外的概率只有 0.3% 左右。这在统计学上叫“3σ 原则”。
核心公式：
- 均值（μ）：数据的平均水平
- 标准差（σ）：数据的离散程度
- 正常区间：[μ - 3σ, μ + 3σ]
但现实往往不按剧本走。我在项目中遇到过很多次，数据分布是偏态的。比如电商网站的页面响应时间，大部分请求很快，但偶尔有几个慢查询把尾巴拖得很长。这就是典型的右偏分布（正偏态）。
为什么会这样？因为很多运维指标有“下限”但没“上限”。响应时间不可能小于 0，但可以大到几十秒。这时候再用 3σ，你会发现上界被拖得很高，很多真正的异常反而被掩盖了。
| 特征 | 正态分布 | 偏态分布 |
|---|---|---|
| 形状 | 对称，钟形 | 一侧拖尾 |
| 均值与中位数 | 相等 | 不相等（偏态方向决定大小关系） |
| 适用阈值方法 | 3σ 原则 | 箱线图、分位数 |
| 典型指标 | 平稳业务的 CPU、内存 | 响应时间、错误率 |
避坑指南：我曾经在一个高并发系统上直接对响应时间用了 3σ 阈值，结果告警量直接爆炸。后来一查，数据是严重右偏的，均值被少数慢请求拉高，导致正常请求反而被误报。从那以后，我养成了先看分布再选方法的习惯。
3.2 箱线图与分位数
对于偏态数据，箱线图是更好的工具。它不依赖均值，而是基于分位数。分位数是什么？简单说，就是把数据从小到大排好，切成几段。
- Q1（第一四分位数）：25% 的数据比它小
- Q2（中位数）：50% 的数据比它小
- Q3（第三四分位数）：75% 的数据比它小
- IQR（四分位距）：Q3 - Q1
箱线图的上下边界怎么算？
上边界 = Q3 + 1.5 * IQR
下边界 = Q1 - 1.5 * IQR超出这个范围的点，就被标记为“异常点”。这个方法的优势在于，它不受极端值的影响。你想想看，哪怕有 1% 的请求慢到离谱，Q1、Q3 和中位数依然很稳定。
我的经验：在设定告警阈值时，我通常先用箱线图找出“温和异常”的边界，再结合业务容忍度做微调。比如 IQR 的倍数，可以从 1.5 调整到 3，取决于你对异常的敏感度。
3.3 数据分布可视化方法
光看数字不够直观。我建议你至少掌握三种可视化方法，它们能帮你快速判断数据形态。
3.3.1 直方图
最基础的方法。把数据分成若干区间，看每个区间有多少数据点。直方图能直观展示分布的形状——是钟形、双峰还是偏态。
3.3.2 箱线图
前面讲过了。它能同时展示中位数、四分位数和异常点。我习惯把箱线图和直方图放在一起看，一个看整体形状，一个看细节分布。
3.3.3 Q-Q 图
这个稍微进阶一点。Q-Q 图把数据的分位数和理论正态分布的分位数做对比。如果点大致落在一条直线上，说明数据接近正态分布。如果偏离，说明有偏态或厚尾。
下面这张图，是我自己总结的数据分布分析流程，你可以参考一下：
3.4 实战：用代码快速判断分布
嗯，这里要注意。在实际运维中，你不可能每次都手动画图。我一般会在监控系统里写个定时任务，自动计算数据的偏度和峰度。
- 偏度（Skewness）：衡量分布不对称程度。偏度 > 0 为右偏，< 0 为左偏。
- 峰度（Kurtosis）：衡量分布尾部厚度。峰度 > 3 为厚尾，意味着极端值更多。
下面是一个简单的 Python 示例，用于判断数据分布并推荐阈值方法：
import numpy as np
from scipy import stats
def analyze_distribution(data):
skewness = stats.skew(data)
kurtosis = stats.kurtosis(data, fisher=True) # 正态分布峰度为 0
print(f"偏度: {skewness:.2f}")
print(f"峰度: {kurtosis:.2f}")
if abs(skewness) < 0.5 and abs(kurtosis) < 1:
print("结论：近似正态分布，推荐使用 3σ 原则")
upper = np.mean(data) + 3 * np.std(data)
lower = np.mean(data) - 3 * np.std(data)
else:
print("结论：偏态分布，推荐使用箱线图 + IQR")
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
upper = q3 + 1.5 * iqr
lower = q1 - 1.5 * iqr
print(f"建议告警上界: {upper:.2f}")
print(f"建议告警下界: {lower:.2f}")
return upper, lower小技巧：偏度的阈值 0.5 和峰度的阈值 1 不是的。我在实践中发现，对于业务高峰期数据，可以适当放宽到偏度 1.0 以内仍用 3σ。但如果你做的是金融交易系统的延迟监控，建议严格一些。
最后说一句，数据分布分析不是一劳永逸的。系统的行为会随着时间变化——白天和晚上不同，工作日和周末不同。我建议你定期（比如每周）重新计算一次分布参数，或者用滑动窗口的方式动态更新。这样阈值才能跟上系统的“脾气”。