2. 概率基础与稀有事件
重要性采样之所以存在，根本原因在于“稀有事件”在朴素蒙特卡洛下几乎采样不到。要理解这一点，需要先把随机变量、期望、方差、大数定律和中心极限定理这几块基础拼起来，再看稀有事件在这套语言里到底长什么样。本节不追求测度论的严格性，而是建立一套能直接支撑后续重要性采样推导的直觉与计算框架。
随机变量与分布：把结果映射成数
随机变量 X 是样本空间到实数的一个映射。我们关心的不是“哪个样本点发生了”，而是“X 取到什么值、以多大概率取到”。离散情形用概率质量函数 p(x)=P(X=x)，连续情形用概率密度 f(x)，并满足 ∫f(x)dx=1。后续所有估计量都写成对 X 的函数求期望，因此分布是“输入”，期望是“目标”。
一个贯穿全课的例子：设 X~N(0,1)，我们关心事件 A={X>4}。查标准正态表可得 P(X>4)≈3.17×10⁻⁵，即约三万分之一的概率。这就是一个典型的稀有事件，后文反复用它做对照。
期望、方差与估计量的精度
期望 E[g(X)] 是我们要估计的目标量。若 X 的密度为 f，则
E[g(X)] = ∫ g(x) f(x) dx
Var[g(X)] = E[g(X)²] − (E[g(X)])²蒙特卡洛估计量取 N 个独立同分布样本 X₁,…,X_N，令 Î = (1/N)Σg(X_i)。它的无偏性来自线性：E[Î]=E[g(X)]；它的精度由方差决定：Var[Î]=Var[g(X)]/N，标准差为 σ/√N。这条 1/√N 规律是蒙特卡洛的“定价单”：想把误差缩小 10 倍，样本量要扩大 100 倍。重要性采样的全部动机，就是不去硬扛这个 N，而是去压低 σ。
大数定律与中心极限定理：估计量为何可信、误差多大
大数定律（弱形式）说：只要 E|g(X)|<∞，则 Î → E[g(X)]（依概率）。它保证“样本够多就收敛”，但不告诉你收敛多快。中心极限定理补上这一块：若 Var[g(X)]=σ²<∞，则
√N (Î − μ) / σ ⇒ N(0,1)于是可以写出近似置信区间 Î ± z_{1−α/2}·σ̂/√N，其中 σ̂ 是样本标准差。这两条定理合起来给出实践中的判断依据：估计值是否可信看大数定律，误差条有多宽看中心极限定理。注意中心极限定理要求方差有限，这一点在稀有事件里恰恰容易出问题——若 g 在尾部增长很快，方差可能很大甚至不存在，此时置信区间会严重低估真实误差。
稀有事件：定义与朴素估计的困境
称事件 A 为稀有事件，通常指其概率 p=P(A) 极小（工程上常取 p<10⁻³ 甚至更小），且我们关心的是对它的精确估计而非“是否会发生”。用指示函数 I_A(X) 表示事件发生，则 p=E[I_A(X)]，朴素估计量为 p̂=(1/N)ΣI_A(X_i)，即“命中次数 / 总次数”。
问题立刻显现：I_A 是伯努利变量，Var[I_A]=p(1−p)≈p，相对标准差为
σ/μ = √(p(1−p)) / p ≈ 1/√p若 p=3.17×10⁻⁵，相对标准差约 178。也就是说，即使跑出上百万个样本，估计值的波动仍可能和它本身同量级；更糟的是，若一个事件都没命中，p̂=0，相对误差无穷大。要获得 10% 的相对精度，粗略需要 N≈100/p，本例约三百万个样本——而这还只是一个标量事件。这就是稀有事件估计的核心矛盾：概率越小，朴素方法越贵，且越不可靠。
稀有事件的典型来源
稀有事件并非只出现在教科书里。工程与科学中常见的几类：
- 可靠性工程：结构在极端载荷下失效，失效概率常在 10⁻⁴ 到 10⁻⁹ 量级，直接抽样几乎不可能命中。
- 金融风险：极端市场下跌导致的组合损失超过阈值，尾部概率极小但影响巨大。
- 通信与排队系统：缓冲区溢出、误码率、超长等待时间，都是小概率但需精确评估的指标。
- 统计物理与分子模拟：系统跨越高位能垒的罕见跃迁，直接模拟的时间尺度远超可承受范围。
这些场景的共同结构是：目标量是某个“尾部区域”上的积分，而样本绝大多数落在对积分贡献很小的主体区域。朴素蒙特卡洛把算力均匀撒在整个分布上，绝大部分样本被浪费在“不重要”的地方——这正是“重要性”一词的由来。
一个可手算的对照示例
仍取 X~N(0,1)，目标 p=P(X>4)。用朴素方法，取 N=10⁶，命中次数 K~Binomial(N,p)，E[K]≈31.7，SD[K]≈5.6。于是 p̂=K/N 的相对标准差约 5.6/31.7≈18%。若某次运行只命中 20 次，估计值偏低 37%；若命中 0 次（概率约 e^{−31.7}≈1.7×10⁻¹⁴，虽小但原理上存在），估计直接失效。
作为对照，若改用“以 x=4 附近为中心的提议分布”去采样（这正是重要性采样的做法，下一节展开），同样的 N=10⁶ 可以让绝大多数样本落在尾部区域，相对标准差可降到个位数百分比。这里先记住结论：稀有事件估计的瓶颈不是样本量本身，而是样本落在哪里的问题。
为后续推导准备的三个结论
- 目标量统一写成期望 μ=E[g(X)]，估计精度由 Var[g(X)]/N 决定，降低方差等价于放大有效样本量。
- 稀有事件对应 g=I_A，其方差相对均值之比约 1/p，随 p 减小而急剧恶化。
- 大数定律保证收敛，中心极限定理给出误差尺度；两者都建立在“样本来自目标分布”这一前提上，而重要性采样恰恰要改变这个前提，并用似然比把偏差修正回来。