3. 蒙特卡洛估计基础

重要性采样的全部动机，都建立在朴素蒙特卡洛方法的一个基本事实上：当目标事件本身很稀有，均匀采样几乎抽不到有效样本，估计量的相对误差会急剧膨胀。要理解为什么要"换分布采样"，必须先看清朴素方法在做什么、它的估计量有哪些性质、误差如何量化，以及在稀有事件下究竟从哪里开始失效。

朴素蒙特卡洛在估计什么

设我们关心一个概率量 p = P(X ∈ A)，其中 X 服从分布 f(x)，A 是稀有事件对应的区域。朴素蒙特卡洛的做法是：从 f 独立抽取 N 个样本 x₁,…,x_N，构造指示函数估计量

p̂ = (1/N) · Σᵢ 1{xᵢ ∈ A}

每个 1{xᵢ ∈ A} 是伯努利变量，成功概率恰为 p。因此 p̂ 本质上是"命中次数除以总次数"，也就是用频率逼近概率。这个估计量无偏：E[p̂] = p，方差为 Var(p̂) = p(1−p)/N。无偏性和方差公式是后续一切误差分析的起点。

估计量的三个关键性质

无偏性保证大量重复实验下估计值围绕真值波动而不系统偏移；一致性保证 N → ∞ 时 p̂ → p（由大数定律）；有效性则由方差刻画——方差越小，同样样本量下估计越稳定。三者中，稀有事件场景最致命的是方差：当 p 很小时，Var(p̂) ≈ p/N，看似很小，但相对于 p 本身却并不小。

误差分析与置信区间

由中心极限定理，N 较大时 p̂ 近似正态，标准误为 SE = √(p̂(1−p̂)/N)。据此可得近似 95% 置信区间：

p̂ ± 1.96 · √(p̂(1−p̂)/N)

真正值得关注的是相对误差。定义相对标准误 RSE = SE / p ≈ 1/√(Np)。这个式子揭示了核心矛盾：要让相对误差可控，需要 Np（期望命中次数）足够大。若要求 RSE ≤ 5%，则需 Np ≥ 400，即 N ≥ 400/p。当 p = 10⁻⁶ 时，需要约 4×10⁸ 个样本——这就是稀有事件下朴素方法的成本墙。

稀有事件下的失效模式

朴素方法在稀有事件下并非"精度差一点"，而是出现结构性失效，可归纳为几种典型模式：

• 零命中失效：Np ≪ 1 时大概率一个样本都不落入 A，估计恒为 0，无法给出任何非零信息。
• 高方差与重尾：即使偶尔命中，估计值在 0 与少数几个 1/N 之间剧烈跳动，分布严重偏斜，正态近似失效。
• 置信区间失真：基于 p̂(1−p̂) 的区间在 p̂ = 0 或极小值时不可靠，覆盖率远低于名义水平。
• 样本效率崩塌：达到给定相对精度所需样本量随 1/p 线性增长，稀有度每提高一个数量级，计算量同步放大一个数量级。

下面的图示对比了同一稀有事件在朴素采样与"把采样分布移向事件区域"两种策略下的命中情况，并标出相对误差随期望命中次数的变化关系，直观说明失效的根源在于有效样本被浪费在了事件区域之外。

一个可复现的示例

设 X ~ N(0,1)，事件 A = {X > 4.5}，真值约 p ≈ 3.4×10⁻⁶。用朴素方法取 N = 10⁶，期望命中次数仅约 3.4 次，实际运行中经常得到 0 到 6 次之间的结果，p̂ 在 0 与 6×10⁻⁶ 间大幅跳动，相对误差远超 50%。若把采样分布改为 q = N(4.5,1)，则大量样本落在事件区域附近，再通过似然比 f(x)/q(x) 加权修正，即可在同样样本量下把相对误差压到可接受范围——这正是下一节重要性采样要系统展开的思路。此处只需记住：朴素方法的失效不是实现错误，而是采样分布与目标事件区域严重错配的必然结果。