📚 课程目录第4章 CLIP模型架构

4. CLIP模型架构：双塔结构、图像编码器（ResNet/ViT）、文本编码器（Transformer）的设计细节

CLIP（Contrastive Language-Image Pre-training）的核心价值在于通过大规模图文对比学习，将图像与文本映射到同一个语义向量空间。其架构设计的核心是“双塔结构”——一条图像编码塔与一条文本编码塔，两者在训练中通过对比损失函数相互对齐。理解这一架构，是掌握CLIP及其衍生模型（如BLIP）的基础。本章将深入拆解双塔结构的整体设计逻辑、图像编码器（ResNet与ViT）的演进与细节，以及文本编码器（Transformer）的适配方式，并探讨在实际训练中的关键决策点。

上图展示了CLIP双塔架构的核心数据流。图像与文本分别经过各自的编码器与投影头，最终在嵌入空间计算对比损失。这种设计的精妙之处在于，它不要求编码器直接生成跨模态的联合表示，而是通过对比学习让两个独立的塔在语义上“对齐”。下面我们深入各模块的设计细节。

4.1 双塔结构的核心原理与设计哲学

双塔结构并非CLIP首创，但CLIP将其发挥到了极致。其核心原理是：使用两个独立的编码器分别处理图像和文本，然后通过一个对比损失函数将两者的输出向量在嵌入空间中对齐。这种设计的核心优势在于解耦——图像塔和文本塔可以独立使用，例如在zero-shot分类时，只需将图像送入图像塔，并与预先计算好的文本特征（如“a photo of a cat”）计算相似度即可。

从工程角度看，双塔结构带来了两个关键特性：异步推理与特征缓存。由于图像和文本不共享底层参数，我们可以预先计算并缓存所有文本类别的特征向量，在推理时仅需计算图像特征，大幅降低计算开销。这也是CLIP能够高效进行zero-shot迁移的基础。

设计哲学：CLIP的设计者刻意选择了“简单”的对比学习目标，而非生成式目标（如预测文本）。这是因为对比学习只需要拉近正样本对、推开负样本对，不需要模型重建像素或单词，这使得模型能够从海量嘈杂的互联网数据中高效学习。生成式目标在图文数据上往往因数据噪声过大而难以收敛。

4.2 图像编码器：从ResNet到ViT的演进与细节

CLIP中实验了两种图像编码器：ResNet系列和ViT系列。两者在结构上差异显著，但都遵循“卷积下采样+全局特征聚合”或“分块嵌入+自注意力”的范式。

4.2.1 ResNet变体：ResNet-50与ResNet-101

CLIP使用的ResNet并非标准版本，而是经过了修改。主要改动包括：

抗混叠池化（Anti-aliasing）：在stem层和后续下采样层中，将stride=2的卷积替换为stride=1的卷积+平均池化，以减少特征图中的混叠效应，提升平移等变性。
注意力池化（Attention Pooling）：在ResNet的最后一层，CLIP没有直接使用全局平均池化（GAP），而是使用了一个基于Transformer的注意力池化层。具体来说，将特征图视为一组，并引入一个可学习的class ，通过多头自注意力计算最终的图像特征。这一改动显著提升了模型对全局信息的捕捉能力。
宽度与深度调整：CLIP的ResNet-50比标准ResNet-50更宽（例如，将第一个卷积层的通道数从64增加到128），以增加模型容量。

4.2.2 ViT变体：ViT-B/32与ViT-L/14

ViT（Vision Transformer）将图像分割为固定大小的patch（如32x32或14x14），并将每个patch线性投影为，然后送入标准Transformer编码器。CLIP对ViT的改动相对较小，但关键点在于：

位置嵌入：CLIP使用可学习的1D位置嵌入，而非2D位置嵌入。实验表明，在CLIP的训练规模下，1D位置嵌入与2D位置嵌入性能相当，但实现更简单。
Layer Normalization：在patch投影层后立即添加LayerNorm，有助于稳定训练。
最终表示：CLIP使用Transformer输出中class 对应的向量作为图像特征，而非对所有进行平均池化。

特性	ResNet-50 (CLIP版)	ViT-B/32
输入尺寸	224x224	224x224
Patch大小	N/A (卷积)	32x32
参数数量	~38M	~86M
全局聚合方式	注意力池化	Class
归纳偏置	局部性、平移等变性	全局感受野、无局部先验
计算效率 (FLOPs)	~4.1 GFLOPs	~4.4 GFLOPs

经验选择：在计算资源有限时，ResNet-50通常比ViT-B/32更容易训练，因为卷积的归纳偏置在中小规模数据上更有效。但当数据量极大（如CLIP的4亿图文对）时，ViT的扩展性更好，最终精度往往更高。若追求极致性能，ViT-L/14@336px是CLIP系列中效果最好的图像编码器。

4.3 文本编码器：Transformer的适配与细节

CLIP的文本编码器是一个标准的Transformer，但针对“文本序列”这一输入类型做了特定设计。其结构为：

输入表示：使用Byte Pair Encoding (BPE) 分词器，词汇表大小为49152。序列长度上限为76个。每个的嵌入维度为512（与ViT-B/32的宽度一致）。
特殊：在序列开头添加 [SOS]（Start of Sequence），在序列末尾添加 [EOS]（End of Sequence）。文本特征取 [EOS] 对应的输出向量，而非对所有做平均池化。这一设计类似于BERT中的 [CLS] 。
Transformer层数：CLIP的文本编码器共有12层，隐藏维度512，8个注意力头。相比等大规模语言模型，CLIP的文本塔相对较浅，因为其任务（对比对齐）不需要深层的语言理解能力。
因果掩码 vs 双向掩码：CLIP的文本编码器使用因果掩码（Causal Mask），即每个只能关注其左侧的。这与类似，而非BERT的双向注意力。原因在于，CLIP希望文本特征能够代表整个句子的语义，而因果掩码在训练时更稳定，且与对比学习目标兼容性更好。

# 伪代码：文本编码器前向传播
def text_encoder(text_tokens):
    # text_tokens: [batch, seq_len] (seq_len <= 76)
    x = _embedding(text_tokens)  # [batch, seq_len, 512]
    x = x + position_embedding  # 可学习的位置嵌入
    for block in transformer_blocks:
        x = block(x, mask=causal_mask)  # 因果自注意力
    # 取 [EOS]  对应的输出
    eos_idx = text_tokens.argmax(dim=-1)  # 假设 [EOS] 是最后一个
    text_feature = x[torch.arange(batch), eos_idx]  # [batch, 512]
    return text_feature

常见误区：不要将CLIP的文本编码器与BERT混淆。BERT使用双向注意力，适合理解任务；CLIP使用因果注意力，更适合生成式或对比式任务。如果直接替换为BERT，在CLIP训练中可能导致训练不稳定或性能下降。

4.4 实战案例：从零训练一个CLIP模型的决策过程

假设我们有一个小型数据集，包含10万张图像和对应的文本描述，希望训练一个CLIP模型用于商品检索。以下是关键决策与操作流程：

选择编码器：由于数据量不大（10万），选择ResNet-50作为图像编码器，文本编码器选择12层Transformer（维度512）。避免使用ViT-Large，因为小数据下ViT容易过拟合。
数据预处理：图像统一resize到224x224，并做随机裁剪、颜色抖动等增强。文本使用BPE分词，截断至76个。
训练超参数：Batch Size设为1024（双塔结构对batch size敏感，越大越好）。学习率采用余弦退火，初始值为5e-4，权重衰减0.2。温度参数τ初始化为0.07，并作为可学习参数。
损失函数：使用对称的InfoNCE损失。对于batch内的每个图像-文本对，计算相似度矩阵，并分别计算图像到文本和文本到图像的交叉熵损失，取平均。
监控指标：除了损失值，还需监控Image-to-Text R@1和Text-to-Image R@1（Recall@1）。在训练初期，R@1可能很低（<1%），随着训练进行会逐渐上升。

案例复盘：在训练过程中，我们发现损失值下降缓慢。排查后发现，文本描述中存在大量重复词汇（如“商品”、“购买”），导致文本特征区分度不足。解决方案是：在BPE分词后，对高频词进行降采样，并增加数据清洗，去除无意义的描述。调整后，R@1从12%提升至19%。这提示我们，双塔模型对数据质量非常敏感，尤其是文本端的多样性。

4.5 常见误区与总结复盘

在设计和训练CLIP模型时，以下误区值得警惕：

误区一：盲目追求大模型。在数据量不足时，ViT-Large的效果可能不如ResNet-50。双塔模型的性能受限于“短板”——如果文本塔太弱，图像塔再强也无法对齐。
误区二：忽略温度参数τ。τ控制着相似度分布的锐利程度。τ过小会导致训练不稳定，τ过大会导致梯度消失。建议将τ作为可学习参数，并初始化为0.07。
误区三：使用平均池化获取文本特征。CLIP的设计是取 [EOS] 的特征。平均池化会稀释关键语义信息，导致检索精度下降。
误区四：batch size过小。对比学习依赖batch内的负样本。如果batch size只有64，负样本数量不足，模型难以学到有区分度的特征。建议至少使用256以上的batch size。

总结：CLIP的双塔架构是“简单而有效”的典范。图像编码器负责提取视觉特征，文本编码器负责提取语义特征，两者通过对比损失对齐。在实际应用中，应根据数据规模、计算资源与任务需求，灵活选择ResNet或ViT，并重点关注数据质量、batch size与温度参数。理解这些设计细节，是后续学习BLIP等融合模型的基础——BLIP正是在此双塔基础上，引入了跨模态注意力融合与生成式目标，从而在理解与生成任务上更进一步。