4. 泊松过程模型的检验与诊断

泊松过程是随机过程建模中最常用的基础模型之一,但“假设它是泊松过程”与“数据确实支持泊松过程”是两回事。本节围绕事件发生时间数据,讨论如何检验齐次与非齐次泊松过程假设,包括事件间隔独立性检验、强度函数估计、拟合优度检验与残差分析,并给出一个可复现的案例实操思路。

一、从数据到检验对象:事件时间与间隔序列

设观测区间为 [0, T],记录到 n 个事件发生时刻 0 < t₁ < t₂ < … < tₙ ≤ T。由此可构造两类基本数据:事件间隔 Xᵢ = tᵢ − tᵢ₋₁(约定 t₀ = 0),以及计数过程 N(t) 在若干子区间上的增量。齐次泊松过程(HPP)要求:增量独立、平稳,且 N(t) ~ Poisson(λt),等价地 Xᵢ 独立同分布于 Exp(λ)。非齐次泊松过程(NHPP)放松平稳性,允许强度函数 λ(t) 随时间变化,但增量仍独立,且 P(N(t+h)−N(t)=1) ≈ λ(t)h。

因此检验的核心可归结为两条主线:独立性(间隔之间、增量之间是否相关)与分布形式(间隔是否指数、计数是否泊松、强度是否恒定)。下图给出从原始事件时间到各类检验的对应关系。

事件时间数据 t₁, t₂, …, tₙ ∈ [0,T] 间隔 Xᵢ = tᵢ − tᵢ₋₁ ① 独立性检验 间隔自相关 / 游程检验 增量独立性(分箱计数) ② 强度函数估计 HPP:λ̂ = n / T NHPP:分箱 / 核平滑 λ̂(t) ③ 拟合优度检验 K-S 检验(指数分布) χ² 检验(计数分布) ④ 残差分析 时间变换残差 Λ̂(tᵢ) 应近似均匀 残差图 / 累积偏差图 模型判定 接受 HPP / 改用 NHPP / 拒绝 并给出诊断依据

二、事件间隔独立性检验

若过程为泊松过程,间隔序列 X₁, X₂, …, Xₙ 应相互独立。实践中最直接的检查是计算间隔的滞后自相关系数:

r_k = Σ_{i=1}^{n-k} (X_i − X̄)(X_{i+k} − X̄) / Σ_{i=1}^{n} (X_i − X̄)²

在独立性假设下,r_k 近似服从均值为 0、标准差约 1/√n 的正态分布,因此 |r_k| > 1.96/√n 可作为 5% 显著性下的警示信号。例如 n = 200 时阈值约为 0.139。若 r₁ 显著为正,说明短间隔后倾向跟随短间隔,常见于事件聚集(如故障成簇、请求突发),提示可能存在非齐次性或聚集性,而非纯泊松。除自相关外,还可用游程检验(runs test)检查间隔相对中位数的上下交替是否过于规律或过于成串。

需要注意:间隔独立性检验对“非齐次”并不敏感——NHPP 的间隔在给定强度路径下仍可独立,但边际分布不再是同指数。因此独立性通过并不等于齐次性成立,必须结合强度估计与拟合优度。

三、强度函数估计

对 HPP,强度为常数,最大似然估计为 λ̂ = n / T,其标准误约 √(λ̂/T)。对 NHPP,需要估计随时间变化的 λ(t)。常用做法是把 [0, T] 划分为 m 个等宽区间(如 m = 20),统计各区间事件数 Nⱼ,得到分段强度 λ̂ⱼ = Nⱼ / Δ,Δ = T/m;再对 λ̂ⱼ 做核平滑或拟合参数形式(如 λ(t) = a·exp(bt) 或 λ(t) = λ₀ + βt)。

判断是否需要非齐次的关键观察是:各区间强度是否围绕常数波动,还是呈现明显趋势或周期性。若用 χ² 检验比较“常数强度”与“分段强度”的拟合,统计量 Σ (Nⱼ − λ̂Δ)² / (λ̂Δ) 在 HPP 下近似服从 χ²(m−1),显著偏大则拒绝齐次性。实际分析中还应画出累积事件数对时间的阶梯图:HPP 下应近似一条直线,明显弯曲或分段斜率变化则提示 λ(t) 非恒定。

四、拟合优度检验与残差分析

对 HPP,可用 Kolmogorov–Smirnov 检验判断间隔是否服从 Exp(λ̂)。将 Xᵢ 排序后计算经验分布 Fₙ(x) 与理论分布 F(x) = 1 − e^(−λ̂x) 的最大偏差 Dₙ,查表或按 1.36/√n 近似临界值。对计数数据,则用 χ² 检验各区间计数是否服从泊松分布(注意合并期望频数小于 5 的箱)。

残差分析提供更细粒度的诊断。对 NHPP 做时间变换:令 Λ̂(t) = ∫₀ᵗ λ̂(s) ds,则变换后的残差序列 Λ̂(tᵢ) 在模型正确时应近似为强度 1 的齐次泊松过程,等价于变换间隔应近似 i.i.d. Exp(1)。因此可对 Λ̂(tᵢ) 再做一次 K-S 检验或画累积偏差图:若残差系统性偏离对角线,说明强度估计不足;若残差出现局部成簇,说明存在未被建模的聚集结构。残差图往往比单一 p 值更能指出“错在哪里”。

五、案例实操:服务器请求到达过程

假设某服务在 8 小时(T = 480 分钟)内记录到 240 次请求到达,事件时间已按分钟记录。这是一个教学示例,数据为合理假设,用于演示流程而非实测结论。

  1. 计算间隔与自相关:得到 240 个间隔,均值约 2.0 分钟。计算 r₁ 至 r₅,若 r₁ ≈ 0.21 且 n = 240 时阈值约 0.127,则 r₁ 显著,提示间隔存在正相关,需警惕聚集。
  2. 估计强度:整体 λ̂ = 240/480 = 0.5 次/分钟。按 20 个 24 分钟区间分箱,若前几个区间强度约 0.3、后段升至约 0.8,则阶梯图明显上弯,提示非齐次。
  3. 拟合优度:对全部间隔做 K-S 检验,若 Dₙ 明显超过临界值,拒绝“间隔为同指数分布”,与齐次假设矛盾。
  4. 残差诊断:用分段强度构造 Λ̂(t),计算变换残差并画累积偏差图。若残差在后期系统性偏高,说明强度被低估;若残差局部成串,则考虑加入聚集项或改用更细的强度模型。
  5. 结论:独立性部分通过但分布检验拒绝,且强度呈上升趋势,判定齐次泊松过程不成立,改用非齐次泊松过程(如 λ(t) = a·e^(bt))并重新做残差检验。
检验顺序建议:先看间隔独立性与阶梯图(快速定性),再做强度估计与拟合优度(定量),最后用残差分析定位偏差来源。单一检验的 p 值不足以定论,应结合图形与多个统计量交叉判断。
注意区分“拒绝齐次”与“拒绝泊松”:非齐次泊松过程仍要求增量独立,若残差显示明显聚集或过度离散,可能需要考虑 Cox 过程、更新过程或马尔可夫调制模型,而不是简单换成 NHPP。

综上,泊松过程检验的关键在于把“独立性”和“分布/强度形式”分开检验,再用残差把两者串起来。实际工作中,图形诊断与统计检验并用,才能既发现模型不成立,又指出不成立的具体原因,为后续模型修正提供方向。