4. JEPA模型架构
JEPA（Joint Embedding Predictive Architecture）的核心思想并非在输入空间直接预测像素或信号，而是在抽象的表征空间中进行预测。这种设计哲学使其区别于传统的生成式模型（如MAE）和对比学习模型（如SimCLR）。本章将深入拆解JEPA架构的三大核心组件——编码器、预测器、目标网络——的设计逻辑与实现要点，并系统对比I-JEPA、V-JEPA、MC-JEPA三种主流变体在输入模态、预测目标与训练策略上的本质差异。理解这些差异，是评估模型性能、选择合适变体以及进行后续调优的基础。
上图展示了JEPA架构的基本数据流。上下文编码器从原始输入中提取可见部分的表征，目标编码器则负责生成预测目标的表征。预测器在表征空间内，基于上下文表征去预测目标表征。最终，损失函数计算预测结果与目标表征之间的差异。值得注意的是，目标编码器通常不通过梯度下降更新，而是采用指数移动平均（EMA）等方式从上下文编码器复制参数，这一设计是JEPA训练稳定性的关键。
4.1 核心组件设计原理与实现要点
4.1.1 编码器：上下文与目标的分离
核心原理：JEPA采用双编码器结构，即上下文编码器（Context Encoder）和目标编码器（Target Encoder）。上下文编码器负责处理可见的输入部分（例如图像中被保留的块），其输出作为预测的起点。目标编码器则处理被掩蔽的部分（或完整输入），其输出作为预测的“标准答案”。这种设计迫使模型学习到输入数据中潜在的、可预测的抽象结构，而非简单的像素级记忆。
判断方法或操作流程：在实际评估中，需要关注编码器的以下设计选择：
- 参数共享：上下文编码器和目标编码器是否共享权重？在I-JEPA原版中，两者结构相同但参数不共享，目标编码器通过EMA更新。若共享权重，则退化为类似BYOL的结构，需谨慎调整动量系数。
- 输入分辨率与块大小：对于图像，块大小（如16x16或32x32）直接影响计算复杂度和预测难度。块越大，预测任务越简单，但表征粒度越粗。
- 输出维度：编码器输出的特征维度决定了表征空间的容量。维度太低可能信息不足，太高则增加预测器负担。
4.1.2 预测器：在表征空间中进行“想象”
核心原理：预测器是JEPA区别于传统自编码器的关键。它接收上下文编码器的输出，并尝试预测目标编码器输出的表征。预测器本身是一个可学习的神经网络（通常为Transformer或MLP），其输入是上下文表征，输出是对目标表征的估计。预测器迫使模型理解输入数据中的因果关系和结构规律。
操作流程：设计预测器时需考虑：
- 输入构造：预测器需要知道“要预测什么”。通常会将上下文表征与一个可学习的“掩蔽令牌”（Mask ）或位置编码拼接，以指示预测目标的位置。
- 损失函数选择：常用L2损失或负余弦相似度。L2损失对异常值敏感，而余弦相似度更关注方向一致性。在V-JEPA中，通常使用L2损失在归一化后的表征上计算。
- 预测深度：预测器可以是单层线性层，也可以是深层Transformer。深度增加能提升预测能力，但也会引入过拟合风险，尤其是在小数据集上。
4.1.3 目标网络：稳定训练的“锚点”
核心原理：目标网络（Target Network）的参数不通过梯度下降更新，而是使用上下文编码器参数的指数移动平均（EMA）。即：θ_target = τ * θ_target + (1 - τ) * θ_context。其中τ是动量系数，通常取值接近1（如0.99或0.999）。这种机制防止了模型崩溃（Representation Collapse），即所有样本被映射到同一表征。
判断方法：评估目标网络时，需检查：
- 动量系数τ的设定：τ过小，目标网络更新过快，训练不稳定；τ过大，目标网络更新过慢，学习速度下降。通常需要根据数据集规模进行调参。
- 是否使用梯度停止（Stop-gradient）：目标编码器的输出必须停止梯度传播，否则EMA机制失效。
requires_grad=False 或使用 .detach()。
4.2 三大变体差异深度对比
| 对比维度 | I-JEPA (Image) | V-JEPA (Video) | MC-JEPA (Multi-Crop / Multi-Context) |
|---|---|---|---|
| 输入模态 | 静态图像 | 视频帧序列 | 图像（多尺度裁剪）或跨模态数据 |
| 预测目标 | 掩蔽图像块的表征 | 未来帧或掩蔽时空区域表征 | 多个局部视图的表征，强调局部与全局的一致性 |
| 上下文编码器输入 | 可见的图像块 | 早期帧或可见时空块 | 全局视图（低分辨率）或锚点块 |
| 目标编码器输入 | 完整图像（含掩蔽块） | 完整视频片段 | 局部裁剪视图（高分辨率） |
| 核心优势 | 学习空间结构，适合图像分类、检测 | 学习时间动态，适合动作识别、视频理解 | 提升细粒度特征，适合密集预测任务（如分割） |
| 训练复杂度 | 较低 | 较高（需处理时序） | 中等（需设计多尺度采样策略） |
4.2.1 I-JEPA：从图像块预测到语义表征
I-JEPA是JEPA架构在图像领域的奠基之作。其典型操作是：将图像划分为多个块，随机掩蔽一部分，上下文编码器仅处理未被掩蔽的块，目标编码器处理完整图像。预测器需要根据上下文表征预测被掩蔽块的表征。这种设计使得模型必须理解物体的整体形状和上下文关系，而非仅仅填补像素。
4.2.2 V-JEPA：引入时间维度的预测
V-JEPA将JEPA扩展至视频领域。其核心挑战在于处理时间动态。通常做法是：给定一段视频的前几帧作为上下文，预测后续帧的表征；或者掩蔽视频中间段，利用前后帧预测。V-JEPA的预测器需要同时处理空间和时间信息，因此通常采用3D卷积或视频Transformer。
关键差异点：V-JEPA的损失函数需要特别处理时间维度。例如，可以对不同时间步的预测误差进行加权，近期帧的误差权重更高。此外，V-JEPA对计算资源要求较高，评估时需关注其吞吐量（Throughput）与性能的平衡。
4.2.3 MC-JEPA：多尺度与多上下文的融合
MC-JEPA（Multi-Crop JEPA）旨在提升模型对局部细节的感知能力。其核心思想是构造多个不同尺度的视图：一个全局视图（低分辨率，覆盖大部分语义信息）和多个局部视图（高分辨率，覆盖小区域）。上下文编码器处理全局视图，目标编码器处理局部视图。预测器需要从全局表征预测局部区域的细粒度表征。
适用场景：当任务需要像素级或区域级理解（如语义分割、目标检测）时，MC-JEPA通常优于I-JEPA。因为其强制模型在全局上下文中保留局部细节信息。
4.3 案例拆解：选择合适变体进行视频动作识别评估
背景与约束：假设我们有一个中等规模的视频动作识别数据集（如UCF-101，包含13K个视频片段），计算资源有限（4块V100 GPU）。目标是评估JEPA模型在此任务上的迁移学习效果。
初始现象与目标：直接使用I-JEPA预训练模型（仅图像）进行视频特征提取，发现动作识别准确率仅为72%，低于有监督预训练模型的78%。我们希望提升至75%以上。
关键输入数据与参数：
- 视频帧率：30 FPS，每个视频采样16帧作为输入。
- 预训练模型：I-JEPA ViT-Base（图像），V-JEPA ViT-Base（视频）。
- 评估协议：冻结主干网络，训练线性分类头。
分析判断过程：I-JEPA缺乏时间建模能力，无法捕捉帧间运动信息，因此性能受限。V-JEPA虽然能建模时间，但直接从头预训练V-JEPA在UCF-101上成本过高。MC-JEPA虽然能提升空间细节，但对时间动态帮助有限。
实际操作步骤：
- 方案A（使用V-JEPA）：加载在Kinetics-400上预训练的V-JEPA模型，冻结主干，提取视频特征。由于V-JEPA已具备时间建模能力，预期准确率可提升至76%。
- 方案B（I-JEPA + 时间聚合）：使用I-JEPA提取每帧特征，然后通过一个简单的时序平均池化或LSTM聚合。此方案计算量小，但时间建模能力弱于V-JEPA。
- 方案C（MC-JEPA + 光流）：使用MC-JEPA提取多尺度空间特征，并额外输入光流信息。此方案复杂度最高，但可能获得最佳性能。
结果对比：经过实验，方案A的准确率达到76.5%，方案B为73.8%，方案C为75.2%。方案A在性能和成本之间取得了最佳平衡。
风险与代价：方案A需要下载较大的预训练模型（约300MB），且推理速度较慢（每秒处理20个视频片段）。方案C虽然性能接近A，但需要额外计算光流，预处理时间增加3倍。
复盘经验：对于视频任务，优先选择V-JEPA；若资源受限，可尝试I-JEPA配合轻量级时间模块。MC-JEPA更适合空间密集型任务，而非时间密集型任务。