基础概率与信息论：熵、互信息、KL散度、最大似然估计及其在自监督学习中的角色

世界模型的核心任务是让机器从高维感官数据中提取可预测、可干预的抽象表征。无论是JEPA（联合嵌入预测架构）中的潜在空间预测，还是生成式世界模型中的未来帧合成，其底层都依赖一套统一的数学语言——概率论与信息论。本节将系统梳理熵、互信息、KL散度与最大似然估计这四个核心概念，并揭示它们如何构成自监督学习目标函数的设计基石，以及在世界模型中扮演的具体角色。

上图展示了信息论四个核心概念之间的逻辑关系及其在自监督学习与世界模型中的映射。下面我们将逐一深入剖析每个概念的数学定义、直觉含义及其在模型设计中的具体应用。

2.1 熵：不确定性的量化与表征学习的下界

核心原理

熵（Entropy）是信息论中最基础的度量，定义为随机变量不确定性的期望：H(X) = -Σ p(x) log p(x)。熵值越高，表示系统的随机性越大，携带的信息量越丰富。在表征学习中，熵具有双重角色：一方面，我们希望潜在表征Z的熵尽可能高，以确保编码器不会将不同的输入坍缩到同一个点（避免表征退化）；另一方面，对于条件分布P(Z|X)，我们又希望其熵尽可能低，即给定观测X时，表征是确定性的、可复现的。

判断方法与操作流程

• 计算经验熵：对一批样本，统计表征向量的离散化分布，计算熵值。若熵值远低于理论最大值，说明表征存在坍缩风险。
• 监控条件熵：在JEPA中，计算H(Z_y | Z_x)（给定上下文表征预测目标表征的条件熵），该值应保持较低水平，否则预测任务过于困难。
• 熵正则化：在损失函数中加入-λ·H(Z)项，鼓励表征分布均匀，防止退化为常数。

案例拆解：对比学习中的熵监控

在SimCLR或MoCo等对比学习框架中，我们通常使用InfoNCE损失。该损失函数隐含地鼓励表征的熵保持较高水平。假设我们有一个批大小为256的训练过程，每步计算表征的批量熵。若某次训练中，熵从理论最大值（约5.5 nats）骤降至2.1 nats，同时损失值不降反升，这通常意味着模型陷入了“恒定表征”的局部最优。此时，标准操作是：① 检查温度参数τ是否过小（如τ<0.05），导致相似度分布过于尖锐；② 增加负样本数量或使用更大的队列；③ 在投影头后添加BN层。经过调整后，熵值回升至4.8 nats，损失继续下降，模型恢复正常训练。

常见误区

2.2 互信息：表征与输入之间的信息纽带

核心原理

互信息I(X;Z) = H(X) - H(X|Z) = H(Z) - H(Z|X)度量了随机变量X和Z之间共享的信息量。在自监督学习中，互信息最大化是许多目标函数的理论依据。直观理解：我们希望潜在表征Z能够保留输入X中与任务相关的所有信息，同时丢弃噪声和无关细节。互信息最大化等价于寻找一个编码器，使得Z成为X的充分统计量。

操作流程：估计与优化互信息

1. 选择估计器：对于高维连续变量，直接计算互信息不可行。常用估计器包括MINE（互信息神经估计）、InfoNCE（基于对比的估计）和NWJ（Nguyen-Wainwright-Jordan）估计器。
2. 构建代理任务：在JEPA中，通过预测任务间接最大化互信息——让模型从上下文X_ctx预测目标Y_tgt的表征，这等价于最大化I(Z_ctx; Z_tgt)的下界。
3. 平衡信息保留与压缩：使用信息瓶颈（Information Bottleneck）思想，在损失中加入-β·I(Z;X) + γ·I(Z;Y)，其中Y是下游任务标签（在自监督中通常不可用，因此用预测目标代替）。

案例拆解：JEPA中的互信息最大化

以I-JEPA（Image Joint Embedding Predictive Architecture）为例，其核心思想是从可见图像块X_ctx预测不可见图像块Y_tgt的表征。训练时，编码器f_enc将X_ctx映射为Z_ctx，预测器f_pred输出Ŷ_tgt，目标编码器f_target（动量更新）生成Z_tgt。损失函数为L = ||Ŷ_tgt - Z_tgt||²。该损失函数实际上是在最大化I(Z_ctx; Z_tgt)的下界。实验表明，当预测目标选择为高层次的语义块（而非像素级）时，互信息估计更稳定，模型学到的表征在ImageNet线性探测上达到75.4%的Top-1准确率，比像素级预测高约8个百分点。这验证了“预测抽象表征比预测原始像素能保留更多语义信息”的假设。

常见误区

2.3 KL散度：分布差异的度量与生成模型的基石

核心原理

KL散度D_KL(P||Q) = Σ P(x) log(P(x)/Q(x))度量了两个概率分布之间的非对称差异。它满足非负性（Gibbs不等式），但不满足对称性和三角不等式，因此不是真正的距离度量。在生成式世界模型中，KL散度是VAE（变分自编码器）和扩散模型的核心组件，用于约束近似后验q(z|x)与先验p(z)之间的差异。

判断方法与操作流程

• 选择方向：D_KL(q||p)称为前向KL（mode-seeking），倾向于覆盖p的所有模式；D_KL(p||q)称为反向KL（mean-seeking），倾向于拟合p的单个模式。在生成模型中，通常使用反向KL以避免生成模糊样本。
• 重参数化技巧：在VAE中，为了对q(z|x)采样并计算KL散度，使用z = μ + σ·ε，其中ε ~ N(0,I)，使得梯度可以回传。
• KL退火：在训练初期，将KL项的权重从0逐渐增加到1，避免“后验坍缩”（即q(z|x)退化为先验p(z)，导致解码器忽略z）。

案例拆解：DreamerV3中的KL平衡

DreamerV3是Google基于世界模型的强化学习智能体，其核心是学习一个隐空间动力学模型p(s_t | s_{t-1}, a_t)。在训练过程中，模型需要最小化预测隐状态ŝ_t与真实编码隐状态s_t之间的KL散度。初始版本中，KL权重固定为1.0，导致模型在复杂环境中出现“隐状态坍缩”——所有状态被编码为相同的分布，策略无法区分不同情境。解决方案是引入KL平衡：将KL散度分解为D_KL(sg(s_t) || ŝ_t) + D_KL(s_t || sg(ŝ_t))，其中sg表示停止梯度。前一项鼓励预测器拟合编码器，后一项鼓励编码器适应预测器，两者使用不同的学习率。调整后，模型在Minecraft环境中获得钻石的成功率从0.1%提升至15.6%，证明了KL平衡对稳定训练的关键作用。

常见误区

2.4 最大似然估计：从数据到参数的桥梁

核心原理

最大似然估计（MLE）是统计建模的基本准则：给定观测数据D = {x_1,...,x_N}，选择参数θ使得似然函数L(θ) = Π p(x_i|θ)最大化。等价地，最小化负对数似然NLL = -Σ log p(x_i|θ)。在自监督学习中，MLE提供了统一视角：对比学习损失（InfoNCE）是条件分布p(z_pos | z_anchor)的MLE；掩码重建损失是p(x_masked | x_visible)的MLE；JEPA的预测损失是p(z_tgt | z_ctx)的MLE。

操作流程：从MLE到自监督损失

1. 定义条件分布：根据任务设计条件概率模型，例如p(z_tgt | z_ctx) = N(z_tgt; f_pred(z_ctx), σ²I)。
2. 推导NLL：对高斯分布取负对数，得到L = ||z_tgt - f_pred(z_ctx)||² / (2σ²) + const。忽略常数项后，即为MSE损失。
3. 处理不可归一化分布：对于能量模型或对比模型，使用NCE（噪声对比估计）或InfoNCE作为MLE的替代，通过引入噪声分布来近似归一化常数。

案例拆解：从MLE视角理解MAE与JEPA的差异

MAE（Masked Autoencoder）直接预测像素值，其损失函数L = ||x_masked - f_dec(z)||²可视为高斯分布下的MLE。JEPA则预测潜在表征，其损失L = ||z_tgt - f_pred(z_ctx)||²同样是高斯MLE，但目标空间从像素空间变为语义空间。两者在ImageNet上的对比实验显示：MAE在重建质量上更优（像素级MSE更低），但JEPA在下游任务线性探测上更优（Top-1准确率75.4% vs 68.2%）。原因在于：像素空间的MLE鼓励保留所有高频细节，而语义空间的MLE天然过滤了与任务无关的噪声。这揭示了MLE目标空间的选择对表征质量有决定性影响。

常见误区

2.5 四者统一：自监督学习目标函数的设计框架

将上述四个概念统一起来，可以构建一个设计自监督学习目标函数的通用框架。下表总结了各概念在JEPA和生成式世界模型中的典型应用场景：

在实际设计自监督目标时，通常需要组合多个信息论项。例如，JEPA的完整损失可写为：

L = ||z_tgt - f_pred(z_ctx)||²          # MLE项（预测误差）
    + λ₁ · max(0, H_min - H(Z))          # 熵正则项（防止坍缩）
    + λ₂ · D_KL(q(z|x) || p(z))          # KL正则项（若使用VAE结构）

其中H_min是预设的最小熵阈值，λ₁和λ₂是权重系数。这种组合方式在实践中最稳定，已在多个SOTA模型（如I-JEPA、DreamerV3）中得到验证。