2. 随机过程基础回顾与模型检验诊断视角
模型检验与诊断的前提,是清楚每个随机过程"应该长什么样"。如果不知道泊松过程的增量独立性与均值-方差相等、不知道马尔可夫链的转移概率矩阵行和为 1、不知道布朗运动的二次变差随区间线性增长,那么面对残差图、自相关图或增量统计量时就无从判断异常。本节把四类常见模型放在同一张"检验诊断视角"的桌面上重新梳理:每个模型的定义性特征是什么,这些特征在数据上对应哪些可观测的量,以及哪些偏离最值得警惕。
一、四类模型的定义性特征
泊松过程描述计数事件在时间上的累积。强度为 λ 的齐次泊松过程 N(t) 满足:N(0)=0;独立增量;任意长度 h 的区间增量服从均值为 λh 的泊松分布。由此推出 E[N(t)]=Var[N(t)]=λt,即均值与方差相等,这是泊松过程最便于检验的"指纹"。此外,到达间隔独立同分布于指数分布 Exp(λ),第 n 次到达时刻服从 Gamma(n, λ)。
马尔可夫链描述离散状态间的随机转移。核心性质是无后效性:给定当前状态,未来与历史条件独立。对时齐链,一步转移矩阵 P 满足 pij≥0 且每行和为 1;n 步转移矩阵为 Pn。若链不可约、非周期且正常返,则存在唯一平稳分布 π 满足 πP=π。检验诊断中最常关注的是转移概率估计的稳定性、行和约束是否被破坏,以及经验转移频率是否随起点时间漂移(非时齐)。
布朗运动(维纳过程)W(t) 满足:W(0)=0;独立增量;增量 W(t)-W(s) ~ N(0, σ²(t-s));样本轨道连续但处处不可微。其关键可检验特征包括:增量独立且正态、增量方差与时间间隔成正比(方差函数线性)、二次变差 [W]t=σ²t。若把方差随时间的变化画出来明显偏离直线,或增量分布出现厚尾、偏斜,就提示模型设定有问题。
ARMA 过程是离散时间线性平稳过程的代表。ARMA(p,q) 写作 φ(B)Xt=θ(B)εt,其中 εt 为白噪声。平稳性要求 AR 特征根在单位圆外,可逆性要求 MA 特征根在单位圆外。其可检验特征集中在自相关结构:ACF 按 AR 部分指数或振荡衰减,MA(q) 的 ACF 在 q 阶后截尾,AR(p) 的 PACF 在 p 阶后截尾;残差应为白噪声,Ljung-Box 统计量不应显著。
二、从定义特征到检验统计量的映射
上图把每个模型的定义性特征翻译成可直接计算的统计量,这是检验诊断的基本工作方式。以泊松过程为例,若把观测区间等分为 m 段,得到计数 N1,…,Nm,则样本均值与样本方差之比应接近 1;若比值明显大于 1(过散布),常见原因是强度 λ 本身随时间或环境变化,此时齐次泊松假设不成立,应考虑非齐次泊松或负二项类替代。再如到达间隔,可做指数分布的 QQ 图或 Kolmogorov-Smirnov 检验,若间隔出现"短-长"交替的规律性,则独立性假设可疑。
对马尔可夫链,实操中先由状态序列估计经验转移矩阵:统计从状态 i 转移到 j 的次数 nij,令 p̂ij=nij/Σjnij。检验时可用 Pearson 卡方比较不同时间段(如前后两半)的转移矩阵是否一致,以发现非时齐;也可检验二阶转移是否显著偏离一阶链的预测,以判断无后效性。注意行和约束是定义要求,若估计结果行和不为 1,多半是状态编码遗漏或数据截断造成的,应先修数据再谈模型。
对布朗运动,把观测按固定步长 Δ 差分得到增量 ΔWk,检验要点有三:增量均值是否近似为 0、增量方差是否与 Δ 成正比(可对多个 Δ 做回归看斜率是否稳定)、增量是否通过正态性检验与独立性检验。二次变差 Σ(ΔWk)² 应近似 σ²T,若明显偏大,往往意味着存在跳跃成分,纯布朗模型不足。
对 ARMA,先看样本 ACF/PACF 的截尾拖尾形态定阶,再拟合后检查残差:残差 ACF 应落在置信带内,Ljung-Box 的 p 值不应很小;同时检查 AR、MA 特征根的模长,若接近 1 说明接近非平稳,参数估计与预测区间都不可靠。若残差呈现波动聚集,则需考虑 GARCH 类扩展。
三、一个可操作的诊断对照示例
假设某系统记录了 2000 个等间隔时间窗内的事件计数,教学示例中设真实强度 λ=3/窗。若数据确由齐次泊松过程生成,则样本均值与方差都应接近 3,比值接近 1;若实际数据算得均值 3.1、方差 8.6,比值约 2.8,就应优先怀疑过散布,转而检查强度是否随昼夜变化。类似地,对一段长度 T=100、步长 Δ=0.01 的模拟布朗轨道,理论上增量方差为 σ²Δ,若取 σ=0.5 则每个增量方差约 0.0025,二次变差约 0.25;若实测二次变差达到 0.6,则提示存在额外跳跃或测量噪声。这些数值均为示例性假设,用于说明判断逻辑,而非实测结论。