3、多模态基础：文本、图像、音频、视频等模态的表示方法，以及多模态对齐的基本概念

在进入JEPA（联合嵌入预测架构）的实战之前，我们必须先夯实多模态数据的底层表示逻辑。JEPA的核心优势在于其能够处理异构数据之间的语义鸿沟，而这种处理能力的前提，是我们对每一种模态都有清晰、可计算的数学表达。本章将系统梳理文本、图像、音频、视频四大模态的经典与现代表示方法，并深入剖析多模态对齐的核心概念——这是后续理解JEPA如何通过潜在空间预测实现跨模态理解的关键基石。

上图展示了多模态表示与对齐的整体逻辑：不同模态通过各自的编码器映射到一个共享的语义空间，而JEPA正是这一框架下最具前瞻性的实现路径之一。下面我们逐一展开。

3.1 文本模态的表示方法

3.1.1 核心原理：从离散符号到稠密向量

文本是人类最结构化的信息载体，其表示经历了从符号主义到连接主义的演变。现代文本表示的核心是分布式表示（Distributed Representation），即用一个低维稠密向量（如768维或1024维）来表征一个词或Token的语义。与One-Hot编码相比，分布式表示能够捕捉词与词之间的语义相似性（如“猫”和“狗”的向量距离较近）。

当前主流方案是上下文相关的动态表示，以BERT、RoBERTa、T5等模型为代表。这类模型通过Transformer架构，根据Token在句子中的上下文动态生成其向量表示。例如，单词“bank”在“river bank”和“bank account”中会获得不同的向量。在JEPA框架中，文本通常被编码为Token序列的嵌入矩阵，并保留位置编码以维持序列顺序信息。

3.1.2 操作流程：文本向量化的标准步骤

1. 分词（Tokenization）：使用BPE（Byte Pair Encoding）或WordPiece算法将句子拆分为子词单元。例如“unhappy”可能被拆分为“un”和“happy”。
2. 索引映射：将每个Token映射到词表中的唯一ID。
3. 嵌入查找：通过嵌入矩阵（Embedding Matrix）将每个ID转换为初始向量。
4. 上下文编码：将Token向量序列输入Transformer编码器，经过多层自注意力机制，输出融合了上下文信息的最终表示。

3.2 图像模态的表示方法

3.2.1 核心原理：从像素矩阵到语义特征图

图像表示的核心挑战在于高维像素数据（如224×224×3）与高层语义之间的巨大鸿沟。传统方法使用手工特征（SIFT、HOG），而现代方法依赖卷积神经网络（CNN）和视觉Transformer（ViT）。ViT将图像分割为固定大小的Patch（如16×16像素），每个Patch经过线性投影变为一个Token，从而将图像转换为类似文本的序列输入。

在JEPA中，图像表示更关注抽象潜在特征的提取，而非像素级重建。这意味着编码器输出的特征向量应保留语义信息（如物体类别、空间关系），同时丢弃无关的细节（如光照、纹理噪声）。

3.2.2 判断方法：选择图像编码器的关键指标

选择时需权衡：输出维度需与文本编码器维度一致（JEPA要求各模态映射到同一空间）；参数量影响训练速度；预训练数据决定其语义覆盖范围。

3.3 音频模态的表示方法

3.3.1 核心原理：时频域转换与声学特征

音频是典型的时序信号，其表示方法分为波形级和频谱级两种。波形级表示直接使用原始采样点（如16kHz采样率下每秒16000个点），但维度高且冗余。频谱级表示通过短时傅里叶变换（STFT）将音频转换为梅尔频谱图（Mel Spectrogram），在保留频率特征的同时大幅降低维度。

梅尔频谱图将音频表示为二维矩阵（时间帧×梅尔频带），可视为“图像”输入CNN或ViT。此外，Wav2Vec 2.0等模型直接从原始波形学习表示，通过对比任务获得强大的语音特征。在JEPA中，音频编码器通常输出帧级别的特征序列，以匹配文本的序列结构。

3.3.2 操作流程：音频特征提取管线

# 典型音频预处理流程（伪代码）
1. 加载音频: waveform, sr = torchaudio.load("audio.wav")  # sr=16000
2. 重采样: waveform = torchaudio.transforms.Resample(sr, 16000)(waveform)
3. 生成梅尔频谱: mel_spec = torchaudio.transforms.MelSpectrogram(
       sample_rate=16000, n_fft=1024, hop_length=160, n_mels=64)(waveform)
4. 对数压缩: log_mel = torch.log(mel_spec + 1e-6)
5. 归一化: normalized = (log_mel - mean) / std
6. 输出形状: [batch, 64, time_frames]

3.4 视频模态的表示方法

3.4.1 核心原理：时空联合建模

视频是图像在时间维度上的扩展，其表示需同时捕捉空间特征（画面内容）和时间动态（运动信息）。主流方法包括：

• 3D CNN（如I3D、C3D）：使用三维卷积核同时处理空间和时间维度。
• 视频Transformer（如TimeSformer、ViViT）：将视频分割为时空Patch，分别进行空间和时间自注意力。
• 双流网络：分别处理RGB帧和光流图，再融合特征。

在JEPA中，视频通常被采样为固定帧率（如2fps）的帧序列，每帧通过图像编码器提取特征，再通过时序模型（如Transformer）聚合为视频级表示。关键设计是时间下采样策略——既要保留运动信息，又要控制计算量。

3.4.2 案例拆解：视频-文本检索中的表示对齐

场景背景：某短视频平台需要实现“文本搜索视频”功能，要求输入一句描述（如“一只金毛犬在草地上奔跑”），返回最匹配的视频片段。

初始目标与约束：视频库包含10万条短视频（平均时长5秒），要求检索延迟低于200ms，准确率（Recall@10）不低于85%。

关键输入数据：视频帧（每秒2帧，共10帧/视频）、文本描述（平均15个Token）、预训练CLIP模型（ViT-B/32）。

分析判断过程：直接使用CLIP对每帧进行编码会产生10个向量，但文本只有一个向量，无法直接计算相似度。需要将帧级特征聚合为视频级特征。我们对比了三种聚合策略：平均池化、最大池化、注意力池化。实验发现，注意力池化能更好地捕捉关键帧（如狗起跳的瞬间），但计算量增加15%。

实际操作步骤：

1. 使用CLIP图像编码器提取每帧特征，得到[10, 512]矩阵。
2. 使用CLIP文本编码器提取文本特征，得到[1, 512]向量。
3. 引入一个可学习的注意力层，将帧特征加权聚合为[1, 512]视频向量。
4. 计算视频向量与文本向量的余弦相似度，训练注意力层（仅需少量标注数据）。

结果对比：平均池化Recall@10为78%，注意力池化达到89%，超过目标。但注意力池化在推理时需额外计算注意力权重，延迟从120ms增至180ms，仍在可接受范围。

风险与代价：注意力层需要约500条人工标注的“视频-文本”对进行训练，标注成本约2000元。若视频域变化（如从宠物视频切换到体育视频），需重新微调。

复盘经验：视频表示的关键在于“如何聚合帧信息”。JEPA的预测式对齐可进一步优化此过程——通过预测未来帧的表示来学习时间动态，从而减少对密集帧采样的依赖。

3.5 多模态对齐的基本概念

3.5.1 核心原理：语义空间的统一

多模态对齐的目标是让不同模态的表示在共享语义空间中具有可比性。具体而言，我们希望“猫”的文本向量、猫的图像向量、猫的叫声向量在空间中彼此靠近。对齐的数学基础是度量学习——通过设计损失函数，拉近正样本对（匹配的跨模态数据）的距离，推远负样本对（不匹配的数据）。

对齐的粒度分为全局对齐（整个句子与整张图像）和局部对齐（单词与图像区域）。JEPA采用更激进的潜在空间预测对齐：不仅要求表示相近，还要求一个模态的表示能预测另一个模态的未来或缺失部分。

3.5.2 判断方法：三种主流对齐范式对比

3.5.3 常见误区与总结复盘