1. 课程导入与问题定义

在概率统计、机器学习、金融风险、可靠性工程与强化学习等领域，我们经常需要估计某个事件发生的概率，而这个事件的概率可能小到 10⁻⁶ 甚至更低。例如：某型航空发动机在单次飞行中出现灾难性失效的概率、某投资组合在一天内亏损超过 20% 的概率、某自动驾驶系统在 10 万公里内发生致命碰撞的概率。这类事件被称为稀有事件（rare event）。直接估计它们的概率，是蒙特卡洛方法最"力不从心"的场景之一。

一、朴素蒙特卡洛为什么失效

设我们关心的稀有事件为 A，其真实概率为 p = P(A)，且 p 非常小。朴素蒙特卡洛的做法是：从原始分布 f(x) 中独立采样 N 个样本 x₁,…,x_N，用指示函数 I(xᵢ∈A) 的样本均值估计 p：

p̂ = (1/N) · Σᵢ I(xᵢ ∈ A)

这个估计是无偏的，但它的相对误差极其糟糕。若 N·p 是落入事件区域的期望样本数，则估计量的相对标准差约为 1/√(N·p)。要让相对误差降到 10%，需要 N·p ≈ 100，即 N ≈ 100/p。当 p = 10⁻⁶ 时，需要约一亿次采样——而其中绝大多数样本都落在"无事发生"的平凡区域，对估计毫无贡献。这就是稀有事件估计的核心矛盾：计算资源被浪费在几乎必然发生、却不携带目标信息的样本上。

二、重要性采样的核心思想

重要性采样（Importance Sampling, IS）的基本思路是：换一个更容易"命中"目标事件的分布去采样，再用权重把偏差纠正回来。具体地，引入一个提议分布（proposal distribution）q(x)，满足在 f(x) > 0 的地方 q(x) > 0，则

p = E_f[I(x∈A)] = ∫ I(x∈A) · f(x) dx
  = ∫ I(x∈A) · [f(x)/q(x)] · q(x) dx
  = E_q[ I(x∈A) · w(x) ],  其中 w(x) = f(x)/q(x)

于是估计量变为 p̂_IS = (1/N) · Σᵢ I(xᵢ∈A) · w(xᵢ)，其中 xᵢ ~ q。关键洞察是：如果 q 把更多概率质量放在事件区域 A 附近，那么落入 A 的样本会显著增多，每个样本携带的"信息量"更大；而权重 w(x) 会自动对"过度采样"的区域进行降权补偿，保证估计仍然无偏。

理想情况下，若取 q(x) ∝ f(x)·I(x∈A)，则权重在事件区域内为常数，估计量的方差降为零——这当然不可实现（因为它需要知道 p 本身），但它揭示了重要性采样的设计目标：让提议分布尽可能接近"条件分布 f(x|A)"。实际中我们通过平移均值、放大方差、指数倾斜（exponential tilting）等手段去逼近这一目标。

三、重要性采样的代价与陷阱

重要性采样并非"免费的午餐"。它把困难从"采样命中率"转移到了"权重质量"上。若提议分布 q 与目标区域严重不匹配，会出现两类典型问题：

• 权重退化：少数样本的权重 w(x) 极大，其余样本权重接近零，导致有效样本量（ESS）骤降，估计量方差反而爆炸。
• 支撑集不匹配：若 q(x)=0 而 f(x)>0 的区域内存在事件质量，则估计量有偏甚至完全错误。这是设计 q 时必须严格避免的。

因此，实际工程中我们不仅关心"估计值是多少"，更关心"这个估计值有多可信"。常用诊断量包括有效样本量 ESS = (Σwᵢ)² / Σwᵢ²，以及权重分布的最大值、分位数等。一个健康的 IS 估计，ESS 应占样本量的相当比例（经验上不低于 10%~20%），否则应重新设计提议分布。

四、本课程路线图与实战项目

本课程共 30 章，围绕"从原理到可复现实现"的主线展开，大致分为四个阶段：

1. 基础与诊断（第 1–8 章）：稀有事件的形式化定义、朴素 MC 的方差分析、重要性采样推导、权重与 ESS 诊断、提议分布设计原则。
2. 进阶方法（第 9–18 章）：指数倾斜、自适应重要性采样（CE 方法）、序贯重要性采样与 SMC、分裂法（Splitting）、子集模拟（Subset Simulation）。
3. 工程实现（第 19–25 章）：高维场景下的方差控制、控制变量与 Rao-Blackwell 化、并行化与向量化实现、数值稳定性（对数域权重）。
4. 综合实战（第 26–30 章）：金融尾部风险、可靠性失效概率、强化学习中的离策略评估等案例，最终完成一个端到端的稀有事件估计项目。