3. 数据增强策略：单模态、跨模态与生成式方法

数据增强，说白了就是给模型「喂」更多样化的数据。在模态缺失场景下，这招尤其管用。我做过好几个项目，发现很多鲁棒性问题其实不是模型结构不行，而是训练数据太「干净」了。你想想看，如果训练时从来没见过缺失模态的情况，那上线后遇到自然就崩了。

这一章我们重点聊三种增强策略：单模态的、跨模态的，还有基于生成模型的。每种都有各自的适用场景和坑。

3.1 单模态数据增强

单模态增强，就是只在某个模态内部做变换。比如图像做旋转、裁剪、颜色抖动，文本做回译、随机掩码，音频加噪声、变速。这些方法虽然简单，但千万别小看它们。

我习惯把单模态增强分成三类：

类型	典型方法	适用场景
几何变换	随机裁剪、旋转、翻转、缩放	图像、视频帧
色彩/纹理变换	颜色抖动、高斯模糊、灰度化	图像、深度图
信号扰动	加噪声、时间掩码、频率掩码	音频、雷达信号、传感器数据

举个例子。我在做一个自动驾驶多模态感知项目时，发现模型对摄像头被泥点遮挡的情况特别脆弱。后来我们在训练时随机对图像做局部遮挡和模糊，效果立竿见影。嗯，这里要注意：增强强度不能太大，否则会破坏语义。比如把一张「车」的图像旋转180度，模型可能就认不出来了。

3.2 跨模态数据增强

跨模态增强，才是应对模态缺失的核心武器。它的思路是：用完整模态的数据，去模拟缺失模态的情况。

具体怎么做？我总结了几种常用套路：

1. 模态随机丢弃：训练时随机把某个模态的特征置零。这是最粗暴但最有效的方法之一。
2. 模态混合：把不同样本的模态交叉组合。比如A样本的图像 + B样本的文本。
3. 模态对齐扰动：故意让不同模态在时间或空间上错位，模拟传感器不同步的情况。

我记得有个多模态情感分析的项目，文本和语音是同步采集的。但实际部署时，经常出现语音延迟几秒的情况。我们就在训练时随机把语音特征平移1-3秒，模型很快就适应了这种异步输入。

下面这张图展示了跨模态增强的几种典型策略：

3.3 基于生成模型的增强方法

前面两种方法，说白了都是在「已有数据」上做文章。但生成模型能帮你创造全新的数据。这在模态缺失场景下特别有价值——比如你缺了某个模态，那就用生成模型把它「补」出来。

我常用的生成式增强方法有：

• 模态翻译：用图像生成文本描述，或用文本生成图像。比如用CLIP + GAN做文本到图像的生成。
• 模态补全：给定部分模态，生成缺失的模态。比如用音频生成说话人的面部表情。
• 风格迁移：改变模态的风格但不改变内容。比如把白天图像变成夜晚，模拟光照变化。

这里给一段简单的伪代码，展示如何用生成模型做模态补全：

# 伪代码：基于VAE的模态补全增强
def generate_missing_modality(available_modality, missing_type):
    # 1. 编码可用模态
    latent = encoder(available_modality)
    
    # 2. 在隐空间中加入随机扰动（增加多样性）
    latent_noisy = latent + torch.randn_like(latent) * 0.1
    
    # 3. 解码生成缺失模态
    generated = decoder(latent_noisy, missing_type)
    
    return generated

# 训练时使用
for batch in dataloader:
    if random.random() < 0.3:  # 30%概率触发增强
        batch['missing_modality'] = generate_missing_modality(
            batch['available_modality'], 
            missing_type='audio'
        )
    loss = model(batch)
    loss.backward()

我记得有个项目是做视频问答，但测试时经常遇到视频帧丢失。我们训练了一个帧生成器，用前后帧和音频特征来补全缺失帧。效果还不错，但有个坑：生成器如果太强，模型会「依赖」生成的内容，反而忽略了真实信息。后来我们给生成数据加了一个置信度权重，让模型知道哪些是「真实」的，哪些是「生成」的。

3.4 三种策略的对比与选择

说了这么多，到底该用哪种？我整理了一个对比表：

策略	优点	缺点	推荐场景
单模态增强	简单、计算量小、通用性强	无法模拟模态缺失	模态质量下降、噪声场景
跨模态增强	直接针对缺失场景、效果好	需要设计策略、可能引入错误关联	模态随机缺失、传感器故障
生成式增强	能创造全新数据、覆盖长尾场景	计算成本高、可能引入生成偏差	数据稀缺、极端缺失场景

我个人习惯是：先用单模态增强打底，再根据缺失模式选择跨模态或生成式。如果计算资源有限，优先做跨模态随机丢弃——性价比最高。