1. 课程导入与贝叶斯思维

在统计推断中，我们常常面对同一个问题：手上有观测数据，想推断产生这些数据的未知参数。比如一批零件的次品率是多少、某药物的平均起效时间有多长、用户点击广告的真实概率有多大。频率学派与贝叶斯学派给出的答案形式不同，但目标一致——用数据说话。理解这两套思维方式的差异，是进入贝叶斯参数估计的第一步。

两种学派的核心分歧

频率学派把参数视为固定但未知的常数。参数没有概率分布，概率只描述“在重复抽样中事件发生的长期频率”。因此频率学派谈的是估计量的抽样性质：无偏性、一致性、置信区间的覆盖率。它不会说“参数落在某区间的概率是 95%”，而说“若重复抽样无数次，约 95% 的区间会覆盖真值”。

贝叶斯学派则把参数视为随机变量，用一个概率分布来表达我们对它的认识程度。观测前有先验分布，观测后用贝叶斯公式把数据信息并入，得到后验分布。于是“参数落在某区间的概率是 95%”这句话在贝叶斯框架下是合法的，这正是可信区间与置信区间的本质区别。

需要强调：两派并非对错之争，而是对“概率”与“未知量”的建模约定不同。数据量大时，似然主导，两派结论往往趋于一致；数据稀少时，先验的作用凸显，贝叶斯方法能给出更稳定的推断，但也要求我们对先验的合理性负责。

统一框架：先验、似然、后验

贝叶斯推断的全部内容可以压缩为一个公式。设参数为 θ，观测数据为 D，则

后验 ∝ 似然 × 先验
p(θ | D) = p(D | θ) · p(θ) / p(D)
其中 p(D) = ∫ p(D | θ) p(θ) dθ  （归一化常数，边际似然）

三个部件各有明确含义。先验 p(θ) 是观测前对参数的信念，可以来自历史数据、领域知识，或刻意选成弱信息先验以让数据主导。似然 p(D|θ) 是给定参数时数据的生成概率，它把模型假设与观测连接起来，是数据发声的通道。后验 p(θ|D) 是更新后的完整认识，它既是本轮推断的终点，也是下一轮观测的先验起点——这正是贝叶斯学习的递归本质。

分母 p(D) 与 θ 无关，在参数估计中通常只起归一化作用，因此实际计算常写成“后验正比于似然乘先验”，最后再归一化。但当我们需要做模型比较时，p(D) 就是边际似然，成为评判模型优劣的关键量。

一个可手算的入门示例

为了让概念落地，考虑一个经典场景：某产品次品率 θ 未知，我们抽检 n=10 件，发现 k=2 件次品。取 Beta 先验 θ ~ Beta(α, β)，似然为二项分布，则后验仍是 Beta 分布：

先验: θ ~ Beta(2, 8)      （均值 0.2，偏保守）
数据: n = 10, k = 2
后验: θ | D ~ Beta(2 + 2, 8 + 10 - 2) = Beta(4, 16)
后验均值 = 4 / (4 + 16) = 0.20
后验 95% 可信区间 ≈ [0.075, 0.365]   （示例数值，可用分位数计算复核）

这里 Beta 先验与二项似然构成共轭对，后验与先验同族，只需把“成功数”加到 α、“失败数”加到 β。这种“先验伪计数”的解释非常直观：Beta(2,8) 相当于事先看过 2 次成功、8 次失败。共轭性是本课程后续计算路线的重要抓手，它让许多后验有解析解，便于我们先把原理吃透，再进入数值方法。

注意上例中后验均值 0.20 与样本频率 0.20 恰好相同，这是先验均值与样本频率一致时的巧合，不应误读为普遍规律。若改用 Beta(1,1) 均匀先验，后验为 Beta(3,9)，均值约 0.25，更贴近样本频率；若用强先验 Beta(20,80)，后验会被明显拉向 0.2 附近。先验强度对结论的影响，正是贝叶斯分析需要审慎对待的地方。

课程路线图与工具准备

本课程按“概念—解析计算—数值计算—评估与实战”推进。前半程建立先验选择、似然构造、后验推导的完整链条，覆盖共轭模型、最大后验估计与后验均值等点估计；中段进入无法解析求解时的计算方法，包括网格近似、拉普拉斯近似、马尔可夫链蒙特卡洛（MCMC）与变分推断；后段讨论后验预测、模型比较、先验敏感性分析与收敛诊断，并用完整案例把流程串起来。

工具方面，建议准备 Python 环境，安装 NumPy、SciPy、Matplotlib，以及 PyMC 或 Stan 之一用于概率编程。入门阶段不必急于上采样器，先用 SciPy 的 beta.pdf、binom.pmf 手算并画图，确认自己理解每一步在算什么；进入 MCMC 后再用概率编程工具做规模更大的模型。建议同时准备一份笔记模板，记录每个例子的先验设定、似然形式、后验结果与诊断指标，形成可复用的分析习惯。