多模态基础：文本、图像、音频、视频等模态的表示方法，多模态对齐与融合的基本原理，以及常见多模态数据集介绍
多模态世界模型的核心挑战在于：如何让机器像人类一样，同时理解语言、视觉、听觉乃至时序运动信息，并在统一语义空间中进行推理与决策。本章作为实战课程的基础，将系统梳理文本、图像、音频、视频四类主流模态的表示方法，剖析多模态对齐与融合的核心机制，并介绍当前工业界与学术界常用的多模态数据集。理解这些底层表示与对齐原理，是后续部署与推理优化（如模型量化、张量并行、KV Cache管理）的前提——因为不同模态的编码器结构差异，直接决定了推理引擎的显存布局与计算瓶颈。
2.1 各模态的表示方法：从原始信号到张量
多模态世界模型的输入层，本质上是将不同物理形态的信号转换为模型可计算的张量。每种模态都有其独特的离散化与特征提取策略，这些策略直接决定了模型的计算复杂度与信息保留程度。
2.1.1 文本模态：Token化与上下文嵌入
文本是最成熟的模态，其表示经历了从独热编码（One-Hot）、词袋模型（BoW）到静态词向量（Word2Vec、GloVe），再到动态上下文嵌入（BERT、RoBERTa、LLaMA）的演进。当前主流方案是使用子词分词（Subword Tokenization），如BPE（Byte Pair Encoding）或SentencePiece，将文本切分为词元（Token），再通过嵌入矩阵映射为高维向量。以LLaMA-2为例，其词表大小为32,000，嵌入维度为4,096，每个Token对应一个4,096维的浮点向量。在推理阶段，文本输入通常以[batch_size, seq_len]的整数索引形式传入，经嵌入层后变为[batch_size, seq_len, hidden_dim]的张量。
2.1.2 图像模态：Patch化与视觉Transformer
图像表示的核心矛盾在于：像素级表示（如224×224×3）维度太高，且缺乏语义抽象。现代视觉模型普遍采用Patch Embedding策略——将图像切分为固定大小的Patch（如16×16像素），每个Patch展平后通过线性投影映射为向量。以ViT（Vision Transformer）为例，一张224×224的RGB图像被切分为196个Patch，加上一个[CLS]分类Token，共197个Token输入Transformer。每个Patch的原始维度为16×16×3=768，经线性投影后变为1,024维（ViT-Large）。
对于世界模型而言，图像表示还需要考虑空间位置编码（Positional Encoding）与尺度不变性。例如，在自动驾驶场景中，同一物体在不同距离下的像素尺寸差异巨大，因此需要引入多尺度特征金字塔（FPN）或可变形注意力（Deformable Attention）来增强表示能力。
2.1.3 音频模态：频谱图与时间上下文
音频的原始波形（Waveform）是1D时序信号，采样率通常为16kHz或44.1kHz。直接处理波形需要极长的序列（1秒音频=16,000个采样点），计算开销巨大。因此，音频表示的主流方案是梅尔频谱图（Mel Spectrogram）：将波形分帧（如25ms窗长、10ms步长），每帧做短时傅里叶变换（STFT），再映射到梅尔刻度（Mel Scale）以模拟人耳感知特性。最终得到形状为[mel_bins, time_frames]的2D特征图，例如80×1,024（80个梅尔频带，1,024个时间帧，对应约10秒音频）。
在推理部署时，音频特征通常被当作"伪图像"处理——使用2D卷积或ViT进行编码。但需要注意，音频的时间分辨率远高于图像（10秒音频有1,024帧，而10秒视频通常只有30帧），这对注意力机制的计算复杂度提出了更高要求。
2.1.4 视频模态：时空联合表示
视频是图像在时间维度的扩展，其表示需要同时捕获空间外观与时间动态。常见方案包括：
- 3D CNN（如C3D、I3D）：使用3D卷积核同时处理空间与时间维度，输出形状为
[batch, channels, T, H, W]的张量。 - 时空Transformer（如TimeSformer、VideoMAE）：将视频切分为3D Patch（如16×16×2），每个Patch包含2帧的16×16区域，展平后输入Transformer。
- 双流网络（Two-Stream）：分别处理RGB帧与光流（Optical Flow）图，光流捕捉像素运动信息，与外观信息互补。
视频表示的核心挑战在于数据冗余——相邻帧高度相似，直接处理全部帧会浪费大量计算资源。因此，实际部署中常采用关键帧采样（如每秒采样2帧）或稀疏时空注意力来降低计算量。
| 模态 | 典型输入形状 | 编码器示例 | 输出维度 | 计算瓶颈 |
|---|---|---|---|---|
| 文本 | [B, seq_len] (整数索引) | BERT / LLaMA | [B, seq_len, 4096] | 注意力矩阵随seq_len平方增长 |
| 图像 | [B, 3, 224, 224] | ViT-Large | [B, 197, 1024] | Patch数量固定，计算可预测 |
| 音频 | [B, 80, T] (梅尔频谱) | AST / Whisper | [B, T/2, 768] | 时间帧T远大于图像Patch数 |
| 视频 | [B, 3, T, H, W] | TimeSformer | [B, T/2×196, 768] | 时空注意力计算量巨大 |
2.2 多模态对齐：建立跨模态语义桥梁
不同模态的表示向量位于各自的特征空间中，直接拼接或相加无法产生有意义的语义交互。多模态对齐的目标是将不同模态的表示映射到统一的语义空间，使得语义相近的内容在向量空间中距离相近。对齐方法主要分为三类：对比学习对齐、交叉注意力对齐、以及生成式对齐。
2.2.1 对比学习对齐：CLIP范式
CLIP（Contrastive Language-Image Pre-training）是对比对齐的经典范式。其核心思想是：给定一个batch的（图像，文本）对，通过对比损失（InfoNCE）拉近匹配对的距离，推远不匹配对的距离。具体而言，图像编码器与文本编码器分别输出归一化的特征向量，计算相似度矩阵（形状为[batch, batch]），对角线元素为目标相似度（应接近1），非对角线元素为负样本（应接近0）。
在部署CLIP模型时，推理引擎需要同时运行图像编码器与文本编码器，并计算余弦相似度。这一过程对显存带宽要求较高，因为两个编码器的中间激活值都需要保留。实际优化中，常将图像特征预计算并缓存（如向量数据库），推理时仅计算文本特征与缓存特征的相似度。
2.2.2 交叉注意力对齐：Q-Former与Flamingo
对比学习对齐是"粗粒度"的——它只对齐了全局语义，无法建立细粒度的局部对应关系。交叉注意力（Cross-Attention）机制则允许模型在Token级别进行对齐。以BLIP-2的Q-Former为例：
- 引入一组可学习的查询向量（Query Tokens），数量通常为32个。
- 查询向量通过交叉注意力层与图像特征交互，提取与文本最相关的视觉信息。
- 文本Token与查询向量通过自注意力融合，输出对齐后的联合表示。
这种设计的优势在于：查询向量充当了"信息瓶颈"，将高维图像特征压缩为固定数量的语义向量，大幅降低了后续融合阶段的计算量。在推理时，Q-Former的交叉注意力层是主要计算热点，需要针对KV Cache进行优化。
2.2.3 对齐的评估指标
对齐质量直接影响下游任务性能。常用的评估指标包括：
- Recall@K：在图文检索任务中，给定文本查询，检索正确图像在前K个结果中的比例。
- 对齐一致性（Alignment Consistency）：通过对抗样本或扰动测试，检查对齐是否对输入噪声敏感。
- 零样本迁移能力：对齐良好的模型应能在未见过的类别上表现良好，如CLIP在ImageNet零样本分类上的准确率。
2.3 多模态融合：从对齐到联合推理
融合是在对齐的基础上，将多模态信息整合为统一的表示，用于下游任务（分类、生成、决策等）。融合策略的选择需要权衡性能与计算开销，尤其在部署场景中，融合层的设计直接影响推理延迟。
2.3.1 融合策略分类
| 融合类型 | 方法描述 | 优点 | 缺点 | 典型应用 |
|---|---|---|---|---|
| 早期融合 | 在输入层拼接不同模态的原始特征 | 实现简单，信息损失少 | 特征维度高，模态间噪声干扰大 | AVSR（音视频语音识别） |
| 晚期融合 | 各模态独立编码后，在决策层融合（如投票、加权平均） | 计算可并行，容错性好 | 无法捕捉模态间细粒度交互 | 情感识别（音频+文本） |
| 混合融合 | 部分模态早期融合，部分晚期融合 | 灵活，兼顾性能与效率 | 设计复杂，调参难度大 | 视频问答（视觉+音频+文本） |
| 基于注意力的融合 | 使用交叉注意力或门控机制动态加权 | 自适应性强，能捕捉长距离依赖 | 计算开销大，需要大量训练数据 | 多模态大模型（LLaVA、Qwen-VL） |
2.3.2 实战案例：视频问答系统中的融合设计
假设我们要构建一个视频问答（VideoQA）系统，输入为一段10秒的视频（含音频轨道）和一个文本问题，输出为答案。初始目标：在NVIDIA A100（80GB）上实现单次推理延迟低于500ms。
关键输入数据与约束：
- 视频：30 FPS，共300帧，分辨率224×224。
- 音频：16kHz采样，10秒共160,000个采样点。
- 文本问题：平均长度15个Token。
- 显存预算：80GB，但需预留20GB给KV Cache与激活值。
分析判断过程：
若采用早期融合（将视频帧与音频频谱直接拼接），输入维度将达到300×224×224×3 + 80×1,000 ≈ 4,500万维，远超模型处理能力。若采用晚期融合（视频与音频独立编码后拼接），则无法回答需要跨模态推理的问题（如"视频中说话者的情绪是什么？"——需要同时理解语音语调与面部表情）。
实际操作步骤：
- 视频侧：使用TimeSformer编码，每2帧采样1帧，共150帧，切分为16×16×2的3D Patch，得到150/2×196=14,700个Token。为控制计算量，采用稀疏注意力（仅关注相邻8帧）。
- 音频侧：提取梅尔频谱（80维），时间帧为1,000，通过2D卷积降采样至250帧，再通过AST编码为250个Token。
- 文本侧：使用BERT编码，输出15个Token。
- 融合层：采用Q-Former结构，设置32个查询向量，通过交叉注意力分别与视频、音频、文本特征交互，输出32个联合表示Token。
- 答案生成：将32个Token输入轻量级Transformer解码器，生成答案。
结果对比：优化前（全量时空注意力）延迟为1.2秒，显存占用65GB；优化后（稀疏注意力+Q-Former瓶颈）延迟降至420ms，显存占用48GB，满足部署要求。
风险与代价：稀疏注意力可能丢失远距离帧的依赖关系，导致对长时动作理解不准确。为缓解此问题，我们在训练时引入了随机帧掩码（Random Frame Masking）作为数据增强，提升模型对缺失帧的鲁棒性。
复盘经验：多模态融合的部署优化，核心在于控制Token数量。视频模态的Token数往往是文本的千倍以上，必须通过采样、降维或瓶颈机制压缩。Q-Former的查询向量设计是平衡性能与计算的有效手段。
2.4 常见多模态数据集与选型指南
数据集的选择决定了模型的上限。不同任务需要不同规模与模态组合的数据集，同时还需考虑数据获取成本、标注质量与版权合规性。
2.4.1 经典数据集一览
| 数据集 | 模态 | 规模 | 任务类型 | 特点 |
|---|---|---|---|---|
| MS-COCO | 图像+文本 | 33万张图，50万句描述 | 图像描述、检索 | 标注质量高，适合预训练 |
| LAION-5B | 图像+文本 | 58亿对 | 对比学习预训练 | 规模大但噪声多，需清洗 |
| AudioSet | 音频 | 632小时，527类 | 音频事件检测 | YouTube来源，标签含噪声 |
| Kinetics-400 | 视频 | 30万段，400类 | 动作识别 | 每段10秒，分辨率不一 |
| VGGSound | 视频+音频 | 20万段，309类 | 音视频事件分类 | 音视频同步，适合跨模态研究 |
| WebVid-2M | 视频+文本 | 250万段 | 视频描述、检索 | 文本为自动生成，质量参差 |
2.4.2 数据集选型决策流程
在实际项目中，数据集选型应遵循以下步骤：
- 明确任务需求：确定需要哪些模态、目标任务的粒度（分类/检索/生成）。
- 评估数据规模：模型参数量与数据量应匹配——百亿参数模型至少需要10亿级训练样本。
- 检查数据质量：抽样验证标注一致性、模态对齐准确性（如图文是否匹配）。
- 考虑计算成本：视频数据集的预处理（解码、抽帧）成本远高于文本，需评估GPU集群吞吐。
- 合规性审查：确认数据集的许可协议（如LAION-5B的开放许可，但需注意其中可能包含的隐私内容）。
2.4.3 数据预处理中的常见陷阱
- 模态不同步：视频与音频轨道偏移超过100ms会导致对齐失败，需使用交叉相关法校准。
- 文本噪声：自动生成的描述（如WebVid）常包含无关信息，需使用语言模型过滤。
- 分辨率不一致：不同来源的图像分辨率差异大，需统一Resize策略（如保持宽高比的Letterbox）。
- 类别不平衡：长尾分布下，少数类样本不足，需采用重采样或合成数据增强。
2.5 本章总结与实战要点
多模态基础的核心在于理解"表示-对齐-融合"三层递进关系。表示层决定了信息保留的粒度，对齐层建立了跨模态语义桥梁，融合层则产生用于决策的联合表示。在部署推理时，需要重点关注以下要点：
- Token数量控制：视频与音频模态的Token数远多于文本，需通过采样、降维或瓶颈机制（如Q-Former）压缩。
- 显存规划：不同模态编码器的中间激活值差异巨大，需为视频编码器预留更多显存。
- 计算调度：文本编码器计算量小但延迟敏感，视频编码器计算量大但可并行，需合理分配GPU流。
- 数据质量优先：多模态模型对数据噪声敏感，一个错误的图文对可能比100个正确样本造成更大损害。