3、自监督学习基础：对比学习、预测学习、掩码重建，以及它们与JEPA和生成式模型的关联

自监督学习（Self-Supervised Learning, SSL）是当前世界模型研究的基石。与依赖人工标注的监督学习不同，自监督学习通过设计“预文本任务”（Pretext Task），从数据本身构造监督信号，让模型学习到高层次的语义表征。对于世界模型而言，自监督学习的目标并非简单地完成某个下游任务，而是让模型理解数据背后的因果结构、物理规律与时空一致性。本章将系统梳理三大主流自监督范式——对比学习、预测学习、掩码重建——的核心机制，并深入剖析它们与JEPA（联合嵌入预测架构）及生成式世界模型之间的内在关联。

自监督学习 三大范式与JEPA 对比学习 拉近正样本对 推开负样本对 预测学习 预测未来/缺失信息 学习时序因果 掩码重建 遮盖部分输入 重建原始信号 JEPA核心思想 在抽象表征空间做预测 不重建原始像素/信号 生成式世界模型 显式生成未来帧/状态 用于规划与决策 JEPA是预测学习的进阶形态 生成式模型是JEPA的落地载体

3.1 对比学习：在判别中构建不变性

3.1.1 核心原理

对比学习的核心思想是：让模型学会区分“相似”与“不相似”。给定一个锚点样本（Anchor），模型需要从候选集中识别出与之语义相似的正样本（Positive），并排斥语义不相似的负样本（Negative）。其经典代表包括SimCLR、MoCo、BYOL等。对比学习的关键在于数据增强策略——通过对同一图像进行随机裁剪、色彩抖动、旋转等操作，构造出语义一致但外观不同的正样本对，从而迫使模型学习到对扰动不敏感的高层语义特征。

从信息论角度看，对比学习的目标是最大化正样本对之间的互信息下界（InfoNCE Loss）。其损失函数形式通常为：

L_InfoNCE = -log[ exp(sim(z_i, z_j)/τ) / Σ_{k=1}^{N} exp(sim(z_i, z_k)/τ) ]

其中，sim 表示余弦相似度，τ 是温度系数，N 为负样本数量。温度系数控制着对困难负样本的关注程度——较小的 τ 会让模型更关注与正样本接近的难负样本。

3.1.2 判断方法与操作流程

在实际应用中，判断一个任务是否适合使用对比学习，可以从以下三个维度考量：

  • 数据增强是否容易构造：如果数据天然具有多种视角（如多摄像头、多模态），则对比学习非常合适。
  • 是否需要细粒度特征：对比学习擅长学习全局判别性特征，但对像素级细节不敏感。
  • 负样本质量与数量：负样本需要足够多样且具有挑战性，否则模型容易学到“捷径”解。

标准操作流程包括：

  1. 构建正样本对：对每个样本应用两次不同的随机增强。
  2. 编码器提取表征：使用共享权重的编码器（如ResNet、ViT）得到表征向量。
  3. 投影头映射：将表征映射到对比空间（通常为128维）。
  4. 计算InfoNCE损失并反向传播。

3.1.3 案例拆解：SimCLR在视频帧表征中的应用

假设我们要为自动驾驶场景构建一个视觉表征模型。初始数据为10万段行车记录仪视频，每段视频包含30帧。我们采用SimCLR框架，将同一视频中相隔5帧的两帧图像视为正样本对（因为它们大概率属于同一场景），而不同视频的帧作为负样本。训练时，我们使用ResNet-50作为编码器，batch size设为256，温度系数τ=0.1。经过200轮训练后，在下游车道线检测任务中，仅用1%标注数据微调，mIoU达到72.3%，相比从零训练提升了18.5个百分点。这一结果表明，对比学习成功捕获了场景的全局结构信息。

经验提醒：对比学习对batch size和负样本数量非常敏感。如果显存有限，建议使用MoCo的动量队列机制，将负样本队列长度设为65536，可以在小batch下获得与大batch相当的效果。

3.1.4 常见误区与总结

误区1：认为对比学习不需要负样本。实际上，BYOL和SimSiam虽然去除了显式负样本，但通过不对称网络结构和stop-gradient操作隐式实现了负样本的排斥效果，其训练稳定性对超参数更敏感。
误区2：忽略数据增强的强度。过强的增强会破坏语义信息，过弱则导致正样本对过于简单，模型学不到有区分度的特征。

总结而言，对比学习擅长学习“什么是相同的”，但无法回答“接下来会发生什么”。这促使我们转向预测学习。

3.2 预测学习：在时序中捕捉因果

3.2.1 核心原理

预测学习（Predictive Learning）的核心思想是：利用时序或空间上下文，预测当前时刻缺失或未来的信息。与对比学习不同，预测学习不依赖负样本，而是直接以“预测误差”作为学习信号。经典方法包括CPC（Contrastive Predictive Coding）、Video Prediction、以及基于状态空间模型的预测。预测学习天然适合世界模型，因为世界模型的核心能力就是“预测未来状态”。

CPC的独特之处在于，它将预测与对比学习结合：使用自回归模型（如GRU）汇总历史信息，然后预测未来时刻的表征，并通过InfoNCE损失在表征空间进行对比。这避免了在原始像素空间预测的高昂计算成本。

3.2.2 判断方法与操作流程

选择预测学习时，需要评估以下条件：

  • 数据是否具有时序或空间连续性：视频、传感器序列、语音等天然适合。
  • 预测目标是否明确：是预测未来帧、未来特征，还是预测动作结果。
  • 是否需要显式的不确定性建模：预测学习天然支持输出分布（如高斯混合），适合处理随机环境。

以视频预测为例，操作流程为：

  1. 输入历史帧序列 x_1, x_2, ..., x_t。
  2. 编码器提取每帧特征 z_i。
  3. 自回归模型（如ConvLSTM）汇总历史特征得到上下文 c_t。
  4. 预测未来特征 z_{t+k}，计算预测误差或对比损失。

3.2.3 案例拆解：基于预测学习的机器人操作规划

在一个机械臂抓取任务中，我们使用预测学习让机械臂学会“想象”抓取动作的结果。输入为当前相机图像和机械臂关节角度，预测模型输出未来0.5秒内的图像序列。训练数据来自2000次随机抓取尝试，每次记录5帧图像和对应的动作参数。我们采用Video Transformer架构，预测目标为未来3帧的潜空间特征。训练后，机械臂在未见过的物体上抓取成功率达到78%，而基线方法（直接使用当前图像做策略）仅为52%。预测学习让模型能够预判物体滑动、遮挡等动态变化，从而提前调整抓取策略。

关键洞察：预测学习迫使模型理解“因果链”——即当前状态和动作如何导致未来状态。这正是世界模型的核心需求。但预测学习在原始像素空间面临“模糊性”问题：未来存在多种可能，模型倾向于输出平均结果，导致预测模糊。

3.2.4 常见误区与总结

误区1：认为预测目标越精细越好。在像素空间预测未来帧不仅计算量大，而且容易陷入局部纹理细节，忽略全局结构。
误区2：忽略动作条件。如果预测模型不输入动作信息，它只能学习数据的“自然演化”，无法用于决策。

预测学习的进阶形态正是JEPA——它明确要求“在抽象表征空间进行预测”，从而规避了像素级预测的模糊性问题。

3.3 掩码重建：在补全中学习结构

3.3.1 核心原理

掩码重建（Masked Reconstruction）的思想源于自编码器：随机遮盖输入的一部分，让模型根据可见部分重建被遮盖的内容。其最成功的代表是BERT（文本）和MAE（图像）。MAE将图像划分为不重叠的patch，随机遮盖75%的patch，仅用可见patch进行编码，然后通过轻量级解码器重建原始像素。掩码重建的优势在于：它迫使模型学习数据的全局依赖关系——要补全被遮盖的部分，必须理解整体结构。

与对比学习相比，掩码重建不需要精心设计正负样本对；与预测学习相比，它不局限于时序方向，而是可以遮盖任意空间位置。这使得掩码重建成为学习通用表征的强有力工具。

3.3.2 判断方法与操作流程

掩码重建适用于以下场景：

  • 数据具有强空间或结构相关性：图像、3D点云、图结构数据。
  • 需要学习局部与全局的交互：例如医学影像中的病灶检测。
  • 数据量充足但标注稀缺：掩码重建可以充分利用无标注数据。

MAE的流程如下：

  1. 将图像划分为16×16的patch，共196个。
  2. 随机遮盖75%的patch（不参与编码）。
  3. 仅将可见patch输入ViT编码器。
  4. 在编码器输出后加入可学习的掩码token，输入解码器。
  5. 计算重建像素的MSE损失。

3.3.3 案例拆解：MAE在卫星遥感影像中的应用

在土地利用分类任务中，我们拥有5万张高分辨率卫星影像，但只有2000张有标注。我们使用MAE进行预训练：将影像裁剪为224×224，patch size为16，遮盖比例75%。预训练200轮后，用2000张标注数据微调分类头。结果显示，MAE预训练模型的分类准确率达到89.2%，而直接训练的模型仅为71.5%。更重要的是，MAE预训练模型对云层遮挡的鲁棒性显著提升——在模拟30%云遮挡的情况下，准确率仅下降4.3%，而基线模型下降15.8%。这表明掩码重建让模型学会了利用上下文推断被遮挡区域的信息。

经验提醒：掩码重建的遮盖比例是关键超参数。对于图像，75%的遮盖率通常最优；对于文本，BERT采用15%的遮盖率。遮盖率过高会导致可见信息不足，过低则任务过于简单。

3.3.4 常见误区与总结

误区1：认为解码器越复杂越好。MAE的实验表明，轻量级解码器（仅几层Transformer）即可获得优秀性能，因为编码器已经捕获了高层次的语义信息。
误区2：忽略位置编码。在掩码重建中，模型必须知道每个patch的原始位置，否则无法正确重建空间结构。

掩码重建与JEPA的关联在于：JEPA同样采用“遮盖-预测”的范式，但预测目标不是原始像素，而是表征空间中的特征。这避免了重建像素级细节的冗余计算。

3.4 三大范式与JEPA、生成式世界模型的关联

3.4.1 JEPA：预测学习的进阶形态

JEPA（联合嵌入预测架构）由Yann LeCun提出，其核心设计原则是：在抽象表征空间中进行预测，而非在输入空间。JEPA包含两个编码器：上下文编码器（处理可见输入）和目标编码器（处理被预测的目标）。训练时，上下文编码器输出预测表征，目标编码器输出目标表征，通过损失函数拉近两者距离。关键区别在于：目标编码器不直接预测原始数据，而是预测数据的“抽象表示”。

JEPA与三大范式的关系如下表所示：

维度 对比学习 预测学习 掩码重建 JEPA
学习信号 正负样本对 未来/缺失信息 被遮盖的输入 目标表征
预测空间 对比空间 原始像素或特征 原始像素 抽象表征空间
是否需要负样本 通常需要 可选 不需要 不需要
对细节的敏感度 低 中 高 低
计算效率 中 中高 高 高
世界模型适配度 低 高 中 极高

3.4.2 生成式世界模型：JEPA的落地载体

生成式世界模型（如Dreamer、IRIS、Genie）的目标是：给定当前状态和动作，生成未来状态的预测。这些模型通常包含一个表征模型（将观测压缩为潜变量）、一个动力学模型（预测下一时刻的潜变量）和一个生成模型（将潜变量解码为可观测的预测）。JEPA恰好提供了动力学模型的训练范式：在潜空间预测未来潜变量，而不是直接生成像素。

以DreamerV3为例，其训练流程为：

  1. 使用自编码器将图像观测压缩为潜变量 z_t。
  2. 使用循环神经网络（GRU）作为动力学模型，输入 z_t 和动作 a_t，预测 z_{t+1} 的分布。
  3. 通过重建损失（将 z_{t+1} 解码为图像）和预测损失（对比预测的 z_{t+1} 与实际的 z_{t+1}）联合训练。

这里，步骤3中的“预测损失”正是JEPA思想的体现——在潜空间比较预测与真实表征，而非在像素空间。生成模型（步骤3的重建）则负责将潜变量映射回可解释的观测，用于规划或策略学习。

3.4.3 案例拆解：JEPA驱动的机器人导航世界模型

我们为一个室内移动机器人构建世界模型。输入为第一视角RGB图像（64×64）和里程计数据。我们采用JEPA架构：上下文编码器处理当前帧和过去3帧，目标编码器处理未来第5帧。训练时，遮盖未来帧的80%区域，让上下文编码器预测其表征。动力学模型采用Transformer，预测未来表征。生成模型使用条件扩散模型，将预测表征解码为未来帧图像。

训练数据为机器人在办公室环境中的10小时探索记录。训练完成后，我们测试机器人在未知走廊中的导航能力。机器人利用世界模型进行“想象规划”：在每一步，模型生成未来5秒的多种可能轨迹对应的图像序列，评估哪种轨迹最安全（不碰撞、路径最短）。结果显示，使用JEPA世界模型的机器人导航成功率（到达目标点且无碰撞）为91%，而使用传统像素预测世界模型的成功率为74%。JEPA的优势在于：表征空间中的预测更稳定，不会因像素级模糊导致规划失败。

核心结论：JEPA并非与三大范式并列的第四种方法，而是对预测学习的“升级”——它继承了预测学习的因果建模能力，同时借鉴了掩码重建的高效训练方式（遮盖部分输入），并摒弃了对比学习对负样本的依赖。生成式世界模型则是JEPA的“应用层”，将JEPA学到的抽象预测能力转化为可执行的决策。

3.4.4 常见误区与总结

误区1：认为JEPA必须使用Transformer。实际上，JEPA对架构没有硬性要求，CNN、RNN、Graph Neural Network均可作为编码器或动力学模型。
误区2：混淆“生成式”与“重建式”。生成式世界模型的目标是生成未来状态用于决策，而重建式自编码器的目标是压缩-重建当前输入。JEPA属于前者，它不要求重建当前输入，只要求预测未来表征。
误区3：忽视目标编码器的更新方式。JEPA中目标编码器通常使用动量更新（如EMA），而不是梯度更新，否则模型会崩溃到恒等映射。

总结本章内容：对比学习、预测学习、掩码重建构成了自监督学习的三大基石。对比学习擅长判别，预测学习擅长因果，掩码重建擅长结构。JEPA将预测学习推向抽象表征空间，成为构建世界模型的核心范式。生成式世界模型则将这些技术整合为可决策的系统。理解这些方法的本质区别与联系，是设计高效世界模型的前提。在实际应用中，应根据任务需求选择合适的方法：若需快速获得通用表征，掩码重建（MAE）是稳妥选择；若需处理时序决策，JEPA与生成式世界模型的组合更为强大。

← 上一章 📖 返回目录 下一章 →