2、JEPA模型基础：JEPA架构原理、预测潜在表示、与对比学习的区别

JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）是Yann LeCun团队在2022年提出的一种自监督学习框架，其核心思想是：在抽象潜在表示空间中进行预测，而非在原始像素或信号空间中进行预测。这一设计哲学直接回应了生成式模型（如MAE、扩散模型）在高层语义理解上的冗余计算问题，也弥补了对比学习方法依赖大量负样本、易产生表示坍缩的缺陷。理解JEPA的架构原理、预测机制及其与对比学习的本质差异，是后续排查训练收敛问题（如损失震荡、表示坍缩、梯度消失）的理论前提。

上图展示了JEPA的核心数据流：输入图像被划分为可见块与掩码块，分别经过上下文编码器（仅处理可见块）和目标编码器（处理完整图像）得到两组潜在表示。预测器基于上下文表示预测目标表示，损失函数计算预测与目标之间的差异，且目标分支使用stop-grad（梯度停止）与EMA（指数移动平均）更新。对比学习分支则展示了其依赖正负样本对判别的不同路径。

2.1 JEPA架构的核心原理

JEPA的架构设计源于一个关键观察：人类和动物的视觉理解并不需要重建每一个像素，而是通过预测抽象语义关系来构建世界模型。在JEPA中，模型被训练为从部分观测（上下文块）预测另一部分观测（目标块）的潜在表示，而非直接预测像素值。这种设计带来三个直接好处：

• 计算效率高：无需解码器逐像素重建，计算量显著低于MAE等生成式方法。
• 语义抽象能力强：潜在表示空间天然过滤了高频噪声和细节变化，迫使模型学习更高层的语义特征。
• 避免表示坍缩：通过非对称编码器设计（上下文编码器与目标编码器参数不同步更新）和预测器结构，从机制上防止所有样本映射到同一表示的退化情况。

I-JEPA（Image-based JEPA）是图像领域的典型实现。其训练流程为：将图像划分为不重叠的块（patch），随机选择一部分块作为上下文块（通常占25%-50%），其余作为目标块。上下文编码器仅处理上下文块，目标编码器处理包含目标块在内的完整图像。预测器接收上下文表示和掩码位置信息，输出对目标块表示的预测。损失函数采用L2距离或平滑L1损失，衡量预测表示与目标表示之间的差异。

2.2 预测潜在表示的工作机制

JEPA的“预测”并非传统意义上的未来帧预测或像素回归，而是在潜在特征空间中的条件生成。具体而言，给定上下文表示 \( s_x = f_\theta(x_{\text{masked}}) \) 和掩码位置信息 \( M \)，预测器 \( g_\phi \) 输出预测表示 \( p_z = g_\phi(s_x, M) \)。训练目标是最小化 \( \mathcal{L} = \| p_z - z_x \|_2^2 \)，其中 \( z_x = f_\xi(x_{\text{full}}) \) 为目标表示，且 \( \xi \) 通过EMA从 \( \theta \) 更新：\( \xi \leftarrow \tau \xi + (1-\tau)\theta \)。

这种机制的关键在于stop-grad操作：目标分支的梯度不反向传播到目标编码器，而是仅通过EMA间接更新。这避免了模型走捷径——如果允许梯度直接更新目标编码器，模型会倾向于将目标表示“拉向”预测表示，最终导致表示退化。EMA更新则保证了目标表示是历史参数的平滑平均，提供了稳定的学习目标。

从信息论角度看，JEPA实际上是在学习一个条件概率模型 \( p(z_x | s_x, M) \)，但通过确定性映射 \( g_\phi \) 近似。由于潜在空间维度远低于像素空间，模型被迫丢弃与预测无关的细节信息（如纹理、光照），保留与语义结构相关的信息（如物体形状、空间关系）。这正是JEPA在下游任务中表现优异的原因——学到的表示天然具有语义不变性。

2.3 JEPA与对比学习的本质区别

对比学习（如SimCLR、MoCo、CLIP）和JEPA虽然同属自监督学习，但学习范式存在根本差异。下表从多个维度进行对比：

维度	对比学习	JEPA
学习目标	判别式：区分正样本对与负样本对	生成式（潜在空间）：预测目标表示
负样本依赖	强依赖，需要大量负样本（batch size或memory bank）	完全不需要负样本
数据增强	必须使用强数据增强（裁剪、色彩抖动等）构造正对	仅需随机掩码，无需额外增强
表示坍缩风险	存在，需依赖stop-grad、预测器或动量编码器缓解	通过非对称结构和EMA天然免疫
计算开销	需要计算所有样本对的相似度，显存占用高	仅需前向传播和一次距离计算，更轻量
语义粒度	倾向于学习全局判别特征	可学习局部到全局的多尺度语义

一个直观的类比是：对比学习像“辨认照片中的人是谁”（需要大量其他人的照片作为参照），而JEPA像“根据半张照片想象完整场景”（不需要参照物，只需理解空间和语义规律）。这种差异导致两者在训练收敛行为上截然不同——对比学习的损失曲线通常呈现“先升后降”模式（因为需要先学会区分负样本），而JEPA的损失曲线通常单调下降，更易于判断收敛状态。

2.4 小型场景化说明：从像素预测到表示预测

为了更直观地理解JEPA的预测机制，我们考虑一个简化场景：假设有一张包含“猫坐在沙发上”的图片，被划分为4×4=16个块。我们随机掩码掉右下角4个块（目标块），保留其余12个块（上下文块）。

1. MAE（像素预测）：模型需要重建被掩码块的RGB像素值，这要求模型记住猫毛的纹理、沙发的条纹等细节。即使成功重建，模型也可能只学到了“像素统计规律”，而非“猫”和“沙发”的语义概念。
2. JEPA（表示预测）：模型只需预测被掩码区域在潜在空间中的表示向量（例如512维）。这个向量可能编码了“这里有一只猫的耳朵”“这里是沙发的扶手”等抽象信息。模型不需要知道猫耳朵的具体颜色或沙发布料的纹理，只需理解“猫耳朵”和“沙发扶手”的语义特征及其空间关系。

这种差异在训练效率上体现明显：像素预测的损失函数对高频细节敏感，导致梯度噪声大、收敛慢；而表示预测的损失函数平滑，梯度信号更稳定。这也是为什么JEPA在相同训练轮数下通常能达到更低的线性探测误差（linear probing error）。

2.5 常见误区与总结复盘

在理解和应用JEPA时，初学者常陷入以下误区：

• 误区一：认为JEPA是对比学习的变体。实际上，JEPA不依赖任何负样本或正样本对，其学习信号完全来自潜在空间的自预测。将JEPA与对比学习混为一谈会导致错误调整超参数（如尝试增加batch size来提升JEPA效果，但JEPA对batch size不敏感）。
• 误区二：忽略EMA系数的重要性。EMA系数 \( \tau \) 直接控制目标编码器的更新速度。\( \tau \) 过小（如0.9）会导致目标表示变化过快，训练不稳定；\( \tau \) 过大（如0.9999）会导致目标表示更新过慢，模型收敛缓慢。实践中，\( \tau \) 通常从0.99开始，随着训练进行逐渐增大到0.999。
• 误区三：认为掩码比例越高越好。虽然较高的掩码比例（如75%）能增加任务难度，但过高的掩码比例会导致上下文信息不足，预测器无法有效推断目标表示，反而损害表示质量。I-JEPA论文表明，掩码比例在50%-75%之间表现最佳。
• 误区四：混淆“预测潜在表示”与“对比学习中的投影头”。对比学习中的投影头（projection head）用于将表示映射到对比空间，训练后会被丢弃；而JEPA中的预测器是架构的永久组成部分，推理时仍用于生成预测表示。

总结复盘：JEPA通过“在潜在空间预测”这一核心设计，实现了无需负样本、无需数据增强的自监督学习。其架构由上下文编码器、目标编码器、预测器三部分组成，通过EMA和stop-grad机制保证训练稳定性。与对比学习相比，JEPA更关注语义结构的学习而非样本判别，这使其在收敛行为、计算效率和表示质量上具有独特优势。理解这些基础原理，是后续排查JEPA训练收敛问题的第一把钥匙——当损失曲线异常时，我们首先需要判断是架构配置问题（如EMA系数、掩码比例）、数据问题（如图像分布偏移），还是优化器问题（如学习率不匹配），而这一切都建立在对JEPA工作机制的清晰认知之上。