第三章 数据增强进阶：Mosaic与MixUp原理、光度与几何失真、Albumentations库集成、自定义增强策略

数据增强，说白了就是给模型“喂”更多样化的数据。你想想看，YOLO 模型再厉害，如果训练数据翻来覆去就那几张图，它学到的特征肯定很局限。我刚开始做检测项目时，总觉得数据量够了就行，结果模型一到复杂场景就崩。后来才明白，数据增强不是锦上添花，而是雪中送炭。

这一章，我们重点聊几个在 YOLO 训练中真正能提升精度的增强手段。包括 Mosaic、MixUp，还有光度与几何失真，以及怎么用 Albumentations 这个库来高效实现它们。

3.1 Mosaic 增强：一张图里看四张

Mosaic 是 YOLOv4 开始引入的经典操作。它把四张训练图片随机裁剪、缩放后拼成一张新图。这样做的好处很明显：一张图里包含了多个场景、多个目标，模型能学到更丰富的上下文信息。

具体流程是这样的：

1. 随机选四张训练图片
2. 确定拼接中心点（通常是随机位置）
3. 对每张图做随机缩放、裁剪
4. 将四块拼成一张大图
5. 更新所有目标的边界框坐标

嗯，这里要注意：拼接后有些目标会被裁掉，或者跨到不同区域。代码里需要做边界框的裁剪和过滤。

# 伪代码示例：Mosaic 核心逻辑
def mosaic_augment(images, labels, img_size=640):
    # 随机选择中心点
    cx, cy = random.randint(320, 960), random.randint(320, 960)
    
    # 对四张图分别处理
    for i, (img, label) in enumerate(zip(images, labels)):
        # 随机缩放
        scale = random.uniform(0.5, 1.5)
        h, w = int(img.shape[0] * scale), int(img.shape[1] * scale)
        img_resized = cv2.resize(img, (w, h))
        
        # 根据象限放置
        if i == 0:  # 左上
            x1, y1 = cx - w, cy - h
        elif i == 1:  # 右上
            x1, y1 = cx, cy - h
        # ... 类似处理其他象限
        
        # 裁剪到画布范围内
        # 更新边界框坐标
        # 过滤掉被裁掉的目标
    
    # 拼接成最终图
    mosaic_img = np.zeros((img_size*2, img_size*2, 3), dtype=np.uint8)
    # ... 填充四个区域
    
    return mosaic_img, mosaic_labels

3.2 MixUp 增强：两张图叠在一起

MixUp 的思路更直接——把两张图按一定比例混合。比如 0.7 的图 A 加上 0.3 的图 B，标签也按同样比例混合。这样模型学到的不是“非黑即白”的分类，而是更平滑的决策边界。

我曾经在某个工业检测项目里试过 MixUp，效果出乎意料的好。原本模型对遮挡目标总是漏检，加了 MixUp 后，漏检率降了一半。为什么？因为 MixUp 模拟了目标被部分遮挡的情况，模型学会了“即使只看到一半，也能判断是什么”。

增强方法	核心思想	适用场景	我踩过的坑
Mosaic	四图拼接，丰富上下文	小目标、复杂背景	拼接后标签容易出错，要仔细检查
MixUp	两图混合，平滑决策边界	遮挡、模糊目标	混合比例太极端会引入噪声
光度失真	调整亮度、对比度、色调	光照变化大的场景	过度调整会让颜色失真
几何失真	旋转、缩放、平移、剪切	视角变化多的场景	旋转后边界框要重新计算

3.3 光度与几何失真：模拟真实世界的变化

光度失真，就是调整图像的亮度、对比度、饱和度、色调等。说白了，就是模拟不同光照条件下的效果。几何失真则是旋转、缩放、平移、剪切等操作，模拟不同视角下的目标形态。

我个人习惯把这两类增强组合使用。比如先做光度调整，再做几何变换。顺序其实有讲究——先做光度，后做几何。为什么？因为几何变换会改变像素位置，如果先做几何再做光度，有些像素插值后亮度会变得不自然。

3.4 Albumentations 库集成：高效、灵活、可扩展

说到数据增强的实现，我强烈推荐 Albumentations 这个库。它比 OpenCV 自带的增强快很多，而且支持边界框同步变换——你不需要手动更新标签，库会自动处理。

集成到 YOLO 训练流程中很简单：

import albumentations as A
from albumentations.pytorch import ToTensorV2

# 定义增强流水线
train_transform = A.Compose([
    # 光度失真
    A.RandomBrightnessContrast(brightness_limit=0.2, contrast_limit=0.2, p=0.5),
    A.HueSaturationValue(hue_shift_limit=10, sat_shift_limit=20, val_shift_limit=20, p=0.5),
    
    # 几何失真
    A.Rotate(limit=15, p=0.5),
    A.RandomScale(scale_limit=0.2, p=0.5),
    A.Translate(xshift=0.1, yshift=0.1, p=0.5),
    
    # 噪声与模糊
    A.GaussNoise(var_limit=(10.0, 50.0), p=0.3),
    A.Blur(blur_limit=3, p=0.2),
    
    # 最终处理
    A.Resize(height=640, width=640),
    A.Normalize(mean=(0, 0, 0), std=(1, 1, 1)),
    ToTensorV2(),
], bbox_params=A.BboxParams(format='yolo', label_fields=['class_labels']))

# 使用方式
augmented = train_transform(image=img, bboxes=bboxes, class_labels=labels)

你看，代码非常简洁。而且 Albumentations 支持自定义增强，你可以把 Mosaic 和 MixUp 也封装进去。

3.5 自定义增强策略：按需组合

实际项目中，没有一套增强策略能通吃所有场景。我建议你根据数据集特点来定制。比如：

• 夜间场景多：加大光度失真中的亮度、对比度调整
• 目标旋转角度大：增加旋转角度范围，但注意边界框会变大
• 小目标多：Mosaic 是首选，配合随机裁剪放大
• 遮挡严重：MixUp 加上随机擦除（Random Erasing）

我曾经做过一个项目，数据全是无人机俯拍视角。我自定义了一个“俯拍增强策略”：只做水平旋转和缩放，不做垂直翻转（因为俯拍图上下翻转后，目标方向就反了）。这个细节让模型精度提升了 2%。

3.6 本章知识体系总览

下面这张图总结了本章的核心内容，你可以把它当作一个快速参考。

这张图把本章的核心内容串起来了。你可以看到，Mosaic 和 MixUp 是两种不同的增强思路，光度与几何失真模拟真实世界变化，而 Albumentations 是高效实现的工具。最后，自定义增强策略是贯穿始终的思维——没有银弹，只有最适合你数据的方案。