📚 课程目录第4章图像预处理

4、图像预处理：色彩空间转换（BGR2RGB）、图像缩放（letterbox）、归一化处理、数据类型转换

摄像头画面拿到手，直接扔给 YOLO 模型？

别急，我刚开始做检测的时候也这么干过。结果模型输出一堆乱码，定位框全飘到天上去。后来才明白——模型对输入数据有严格的「口味偏好」。你不把图片处理成它想要的样子，它就给你颜色看。

这一节，我们就来搞定 YOLO 的「喂食标准流程」。说白了就四步：色彩空间转换、Letterbox 缩放、归一化、数据类型转换。每一步都有坑，我一个个给你拆开讲。

核心一句话：预处理的质量，直接决定检测的成败。数据没喂对，模型再强也白费。

4.1 色彩空间转换：BGR → RGB

OpenCV 有个「历史遗留问题」——它读图片默认用 BGR 顺序。但 YOLO 模型在训练时用的是 RGB。你想想看，通道顺序都反了，模型看到的颜色完全是乱的。

我记得第一次跑 YOLOv5 的时候，检测框倒是出来了，但置信度奇低。排查了半天，发现就是 BGR 没转 RGB。颜色一错，模型把红色汽车认成了蓝色背景，你说它能准吗？

我的习惯：在预处理管线里，色彩转换永远放在第一步。因为后面的缩放、归一化都是逐像素操作，不依赖通道顺序。但模型推理依赖通道顺序，所以先转好，后面省心。

import cv2

# 读取摄像头帧（BGR 格式）
frame = cv2.imread('car.jpg')  # 实际项目中来自 cap.read()

# 色彩空间转换：BGR → RGB
frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

# 验证形状和通道数
print(frame_rgb.shape)  # (H, W, 3)
print(frame_rgb[0, 0])  # 现在第一个值是 R，不再是 B

⚠️ 我曾经踩过的坑：有一次在批量处理视频帧时，我忘了转换色彩空间，结果模型在晴天表现还行，一到黄昏场景就疯狂漏检。因为 BGR 和 RGB 在低光照下的通道响应差异会被放大。所以别偷懒，这步不能省。

4.2 图像缩放：Letterbox 等比例填充

YOLO 模型要求输入尺寸固定，比如 640×640。但摄像头来的画面是 1920×1080，直接拉伸会变形。模型训练时没见过这种畸变，检测精度直接跳水。

Letterbox 的思路很简单：等比例缩放，短边补齐。说白了就是保持宽高比，把长边缩到目标尺寸，短边用灰色填充。这样图片内容不变形，模型看着舒服。

方法	特点	对检测的影响
直接拉伸（Resize）	简单粗暴，速度快	物体变形，小目标特征丢失
裁剪（Center Crop）	保留中心区域	边缘物体被切掉，漏检
Letterbox（推荐）	等比例缩放 + 填充	内容完整，无变形，YOLO 官方方案

def letterbox(img, target_size=640, color=(114, 114, 114)):
    """
    等比例缩放 + 填充
    :param img: RGB 图像 (H, W, 3)
    :param target_size: 目标尺寸（正方形边长）
    :param color: 填充颜色（RGB）
    :return: 填充后的图像, 缩放比例, (dw, dh) 填充偏移
    """
    h, w = img.shape[:2]
    scale = target_size / max(h, w)  # 缩放比例
    new_w, new_h = int(w * scale), int(h * scale)

    # 等比例缩放
    img_resized = cv2.resize(img, (new_w, new_h), interpolation=cv2.INTER_LINEAR)

    # 计算填充量
    dw = (target_size - new_w) // 2
    dh = (target_size - new_h) // 2

    # 创建画布并填充
    canvas = np.full((target_size, target_size, 3), color, dtype=np.uint8)
    canvas[dh:dh+new_h, dw:dw+new_w] = img_resized

    return canvas, scale, (dw, dh)

# 使用示例
padded_img, scale, (dw, dh) = letterbox(frame_rgb, target_size=640)
print(f"缩放比例: {scale:.3f}, 填充偏移: dw={dw}, dh={dh}")

关键点：Letterbox 的填充偏移 (dw, dh) 和缩放比例 scale 要保留下来。因为检测完成后，要把模型输出的坐标映射回原始图像尺寸，这两个参数就是「反向映射」的钥匙。

4.3 归一化处理：像素值缩放到 [0, 1]

原始图像的像素值范围是 0~255，但神经网络喜欢小数值输入。为什么？

你想想看，如果输入值太大，经过几层卷积后数值会爆炸，梯度也跟着炸。模型训练时权重更新一步到位，根本收敛不了。归一化就是把像素值从 [0, 255] 压缩到 [0, 1]，让模型「吃」得舒服。

# 归一化：直接除以 255.0
normalized_img = padded_img.astype(np.float32) / 255.0

print(f"归一化前像素范围: [{padded_img.min()}, {padded_img.max()}]")
print(f"归一化后像素范围: [{normalized_img.min():.3f}, {normalized_img.max():.3f}]")

我的习惯：归一化放在类型转换之后做。先转 float32，再除以 255.0，这样不会丢失精度。如果先除再转类型，中间结果会被截断。

4.4 数据类型转换：uint8 → float32

OpenCV 读进来的图像是 uint8（0~255 整数），但 PyTorch 模型要求 float32。这一步其实很简单，就是调一个函数的事。但顺序有讲究——我建议先转类型，再做归一化。

# 完整预处理管线（四合一）
def preprocess_frame(frame, target_size=640):
    """
    完整的 YOLO 预处理管线
    :param frame: OpenCV 读取的原始帧 (BGR, H, W, 3)
    :param target_size: 模型输入尺寸
    :return: 预处理后的张量 [1, 3, H, W], scale, (dw, dh)
    """
    # 1. 色彩转换：BGR → RGB
    rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

    # 2. Letterbox 缩放
    padded, scale, (dw, dh) = letterbox(rgb, target_size)

    # 3. 数据类型转换：uint8 → float32
    padded = padded.astype(np.float32)

    # 4. 归一化：缩放到 [0, 1]
    normalized = padded / 255.0

    # 5. 调整维度：HWC → CHW → NCHW
    # 模型输入要求 [batch, channel, height, width]
    tensor = np.transpose(normalized, (2, 0, 1))  # (3, H, W)
    tensor = np.expand_dims(tensor, axis=0)       # (1, 3, H, W)

    return tensor, scale, (dw, dh)

# 实际调用
cap = cv2.VideoCapture(0)
ret, frame = cap.read()
if ret:
    input_tensor, scale, pad = preprocess_frame(frame)
    print(f"最终张量形状: {input_tensor.shape}")  # (1, 3, 640, 640)
    print(f"像素范围: [{input_tensor.min():.3f}, {input_tensor.max():.3f}]")

⚠️ 我曾经踩过的坑：有一次我忘了做 np.transpose，直接把 (H, W, 3) 扔给模型。PyTorch 报错说维度不匹配，我愣是查了半小时才反应过来——模型要的是 (C, H, W)，不是 (H, W, C)。这个维度顺序问题，新手必踩，没有例外。

4.5 完整预处理管线总结

把上面四步串起来，就是一条完整的预处理流水线。我建议你把它封装成一个函数，每次从摄像头读一帧，调一次这个函数，干净利落。

步骤	操作	输入 → 输出	关键函数
1	色彩转换	BGR (H,W,3) → RGB (H,W,3)	`cv2.cvtColor()`
2	Letterbox	任意尺寸 → 640×640	`cv2.resize()` + 填充
3	类型转换	uint8 → float32	`.astype(np.float32)`
4	归一化	[0, 255] → [0, 1]	`/ 255.0`
5	维度调整	(H,W,C) → (1,C,H,W)	`np.transpose()` + `np.expand_dims()`

记住这个口诀：「先转色，再缩放，转类型，归一化，最后扩维送模型。」每次写预处理代码，心里默念一遍，保证不出错。

嗯，到这里，图像预处理的四个核心步骤就全部讲完了。你可能会觉得步骤有点多，但相信我——写成函数后，每次调用就一行代码。而且这套流程是 YOLO 官方推荐的，经过大量场景验证，稳定可靠。