2. 概率基础与贝叶斯公式

贝叶斯参数估计的全部计算，都建立在三个概率工具之上：条件概率、全概率公式和贝叶斯公式。它们不是三条孤立的公式，而是一条层层递进的推导链——条件概率定义了"在已知信息下如何重新分配概率"，全概率公式把未知原因的影响汇总成可观测结果的总概率，贝叶斯公式则把这条链反向使用，从观测结果反推原因的可信度。理解这条链的方向与含义，比记住公式本身更重要。

条件概率：信息如何改变概率

设事件 A、B 满足 P(B) > 0，则在 B 发生的条件下 A 的条件概率定义为

P(A | B) = P(A ∩ B) / P(B)

直观理解：把样本空间从"全部可能"收缩到"B 已发生"这一子集，再在这个子集内看 A 占多大比例。分母 P(B) 起归一化作用，保证条件概率在 B 上仍然是一个合法的概率分布。条件概率不改变事件本身，只改变我们衡量它的参照范围。例如某疾病在人群中的患病率为 1%，检测灵敏度（患病者检出阳性）为 95%，特异度（健康者检出阴性）为 90%。记 D 为患病、+ 为阳性，则 P(+|D)=0.95，P(−|D^c)=0.90，即假阳性率 P(+|D^c)=0.10。这些数字都是条件概率，它们描述的是"给定状态后检测的表现"，而不是"检测阳性后患病的概率"——后者才是贝叶斯公式要回答的问题。

全概率公式：把原因汇总为结果

若事件 B₁, B₂, …, Bₙ 构成样本空间的一个划分（两两互斥且并为全集），且每个 P(Bᵢ) > 0，则对任意事件 A：

P(A) = Σᵢ P(A | Bᵢ) · P(Bᵢ)

它的作用是"按原因分解结果"：A 的总概率等于各条成因路径上"先到 Bᵢ、再由 Bᵢ 到 A"的联合概率之和。回到检测例子，阳性结果的总概率为

P(+) = P(+|D)·P(D) + P(+|D^c)·P(D^c)
     = 0.95 × 0.01 + 0.10 × 0.99
     = 0.0095 + 0.099 = 0.1085

也就是说，在患病率 1% 的人群中随机检测一人，阳性率约为 10.85%。注意其中 0.099 来自健康人的假阳性，远大于真阳性的 0.0095——这个结构差异正是下一节"阳性并不等于大概率患病"的根源。

贝叶斯公式：从结果反推原因

由条件概率的对称性 P(A∩B) = P(A|B)P(B) = P(B|A)P(A)，解出 P(B|A) 即得贝叶斯公式：

P(Bᵢ | A) = P(A | Bᵢ) · P(Bᵢ) / P(A)
          = P(A | Bᵢ) · P(Bᵢ) / Σⱼ P(A | Bⱼ) · P(Bⱼ)

公式中每一项都有明确的名字与角色：P(Bᵢ) 是先验概率，代表观测前的信念；P(A|Bᵢ) 是似然，代表该原因下出现观测的可能性；分母 P(A) 是证据的边际概率，由全概率公式算出，只起归一化作用；P(Bᵢ|A) 是后验概率，即观测后更新过的信念。用检测例子计算：

P(D | +) = 0.95 × 0.01 / 0.1085 ≈ 0.0876

阳性者真正患病的概率只有约 8.76%，远低于多数人的直觉。原因不在检测不准，而在先验极低：健康人基数大，10% 的假阳性率乘以 0.99 的先验，贡献了绝大部分阳性样本。这说明后验由先验与似然共同决定，任何一方被忽略都会导致误判。若对高风险人群（先验 20%）做同一检测，则 P(D|+) = 0.95×0.20 / (0.95×0.20 + 0.10×0.80) ≈ 0.704，结论截然不同。

连续情形：从求和到积分，从分布到分布

参数估计中，未知量 θ 通常是连续的，观测 x 也是连续的。此时把离散公式中的求和换成积分、概率换成密度，形式完全平行：

先验密度：π(θ)
似然：    p(x | θ)
边际密度：m(x) = ∫ p(x | θ) · π(θ) dθ
后验密度：π(θ | x) = p(x | θ) · π(θ) / m(x)

由于 m(x) 不含 θ，它只是归一化常数，实际计算中常写作 π(θ|x) ∝ p(x|θ)·π(θ)，即"后验正比于似然乘先验"。这是贝叶斯计算最常用的工作形式。举一个可手算的共轭示例：设 θ 为某产品的次品率，先验取 Beta(2, 8)（均值 0.2，体现"次品率偏低"的既有认识）；抽检 n=20 件，发现 k=3 件次品，似然为二项分布。Beta 先验与二项似然共轭，后验仍为 Beta 分布，参数直接相加：

先验 Beta(a, b) = Beta(2, 8)
观测：n = 20，k = 3
后验 Beta(a + k, b + n − k) = Beta(5, 25)
后验均值 = 5 / (5 + 25) ≈ 0.1667
后验标准差 = sqrt(5×25 / (30²×31)) ≈ 0.0669

先验均值 0.2 被数据拉低到约 0.167，同时后验分布比先验更集中（标准差由约 0.126 降至约 0.067），体现了"数据越多、后验越尖锐"的一般规律。若换用均匀先验 Beta(1,1)，后验为 Beta(4,18)，均值约 0.182，说明先验的选择会实质影响小样本下的结论，这正是贝叶斯分析必须交代先验来源的原因。