📚 课程目录第4章图像预处理方法

4、图像预处理方法：灰度化、二值化、直方图均衡、高斯模糊、边缘检测等常用滤波与增强技术

在OpenMV视觉项目中，原始图像数据往往包含大量冗余信息和噪声干扰。如果直接将未处理的图像送入特征检测或识别算法，不仅计算开销大，而且极易因光照变化、反光、阴影或传感器噪声导致误判。图像预处理的核心目标是在不破坏关键特征的前提下，抑制无关信息、增强目标与背景的对比度，为后续的颜色识别、形状检测、二维码解析或神经网络推理提供更稳定、更干净的输入。本章将系统讲解OpenMV IDE中常用的五类预处理技术：灰度化、二值化、直方图均衡、高斯模糊和边缘检测，并结合实际工程场景说明其适用条件、参数调优方法及常见误区。

上图展示了OpenMV图像预处理的核心技术链路。从原始图像输入开始，灰度化降低数据维度，二值化实现目标与背景的快速分离，直方图均衡应对光照不均，高斯模糊抑制噪声，边缘检测提取结构信息。实际项目中，这些操作往往需要组合使用，而非孤立调用。下面逐一深入分析每种方法的原理、OpenMV实现方式及调参策略。

4.1 灰度化：降低维度，保留亮度信息

核心原理

OpenMV默认采集的图像为RGB565格式，每个像素占用16位，包含红、绿、蓝三通道信息。灰度化将三通道压缩为单通道亮度值（0~255），计算方式通常为加权平均：Gray = 0.299R + 0.587G + 0.114B。这一步骤将图像数据量减少约50%，同时保留了绝大多数视觉算法所需的亮度梯度信息。对于颜色特征不敏感的任务（如形状识别、边缘检测、二维码定位），灰度化是必要的预处理步骤。

OpenMV实现与操作流程

import sensor, image, time
sensor.reset()
sensor.set_pixformat(sensor.GRAYSCALE)  # 直接以灰度模式采集
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)

while True:
    img = sensor.snapshot()
    # 若已采集为RGB，可动态转换
    # gray = img.to_grayscale(copy=True)
    # 后续处理基于gray

在OpenMV中，最直接的方式是在初始化时设置sensor.GRAYSCALE，这样硬件直接输出灰度帧，省去软件转换开销。若需在RGB模式下动态获取灰度图，可使用img.to_grayscale()，但注意该操作会分配新内存，频繁调用可能影响帧率。

经验提醒：如果项目最终需要同时使用颜色识别和形状识别，建议保持RGB565采集，在需要灰度时使用img.to_grayscale(copy=False)原地转换，避免额外内存分配。但要注意，原地转换会覆盖原图，若后续还需颜色信息，必须使用copy=True。

4.2 二值化：阈值分割，突出目标区域

核心原理

二值化将灰度图像中每个像素根据阈值划分为前景（255）或背景（0）。其数学表达为：若像素值大于等于阈值T，则置为255，否则置为0。二值化的关键在于阈值T的选择。固定阈值适用于光照均匀的场景，而自适应阈值（如Otsu方法）能根据图像灰度分布自动计算最优分割点，适合光照渐变的环境。

OpenMV实现与操作流程

# 固定阈值二值化
img.binary([(threshold_min, threshold_max)], invert=False)

# 使用Otsu自动阈值（需先获取灰度直方图）
hist = img.get_histogram()
threshold = hist.get_threshold()  # 返回(低阈值, 高阈值, 置信度)
img.binary([(threshold.value(), 255)])

OpenMV的binary()方法接受一个阈值区间列表，可同时处理多个灰度范围。对于彩色图像，还可以在LAB或RGB色彩空间进行多通道阈值分割，但本章聚焦灰度二值化。实际工程中，建议先通过IDE的“阈值编辑器”工具手动调整，观察分割效果后再固化参数。

阈值选择方法	适用场景	优点	缺点
固定阈值	光照恒定、背景单一	计算快、实现简单	对光照变化敏感
Otsu自适应	光照渐变、双峰直方图	自动计算、无需人工干预	对噪声敏感，可能分割失败
三角法	直方图单峰且拖尾	适合大部分前景占比较小场景	需要OpenMV固件支持

风险提示：二值化会丢失所有灰度细节，若目标与背景灰度值接近，强行二值化会导致目标断裂或背景残留。此时应优先考虑直方图均衡增强对比度，再进行二值化。

4.3 直方图均衡：自适应对比度增强

核心原理

直方图均衡通过重新映射灰度级，使输出图像的灰度直方图近似均匀分布，从而拉伸动态范围。对于光照不足或过曝的图像，均衡后暗部细节和亮部层次都能得到改善。其数学本质是累积分布函数（CDF）的线性化：new_pixel = CDF(old_pixel) × 255。OpenMV提供全局均衡和局部均衡（CLAHE）两种模式，后者对局部阴影区域效果更佳。

OpenMV实现与操作流程

# 全局直方图均衡
img.equalize(adaptive=False)

# 局部自适应均衡（CLAHE），适合光照不均
img.equalize(adaptive=True, clip_limit=2.0, grid_size=(8, 8))

参数clip_limit控制对比度限制幅度，值越大增强越强，但可能放大噪声；grid_size定义局部区域划分，网格越细，局部适应性越强，但计算量增大。在OpenMV上，建议grid_size不超过(8,8)，否则帧率下降明显。

  实战场景：在智能车竞赛中，赛道阴影区域常导致二值化后赛道断裂。先执行img.equalize(adaptive=True, clip_limit=1.5)，再使用Otsu阈值二值化，可显著提升赛道边缘完整性。实测在OpenMV Cam H7上，QVGA分辨率下均衡耗时约15ms，仍可保持30fps以上帧率。

4.4 高斯模糊：去噪平滑，保留边缘

核心原理

高斯模糊是线性低通滤波，其核函数为二维高斯分布：G(x,y) = (1/(2πσ²))·exp(-(x²+y²)/(2σ²))。与均值模糊相比，高斯核赋予中心像素更高权重，边缘保留能力更强。在OpenMV中，高斯模糊主要用于抑制传感器噪声、消除细小纹理干扰，为边缘检测或轮廓提取提供更干净的输入。

OpenMV实现与操作流程

# 高斯模糊，kernel_size必须为正奇数
img.gaussian(ksize=3, sigma=1.0)

# 若需保留边缘细节，可先模糊再与原图做差分（高提升滤波）
blurred = img.gaussian(ksize=5, sigma=2.0, copy=True)
img.sub(blurred)  # 原图减模糊图，增强边缘

ksize决定卷积核大小，3×3适合轻度去噪，5×5适合中度噪声；sigma控制空间权重分布，一般取sigma = 0.3×((ksize-1)×0.5 - 1) + 0.8可自动匹配。过大的核会模糊细小特征，导致后续检测失效。

常见误区：不要对二值化后的图像直接使用高斯模糊。二值图像只有0和255两个值，模糊会产生中间灰度，破坏二值特性。正确做法是先模糊灰度图，再二值化。

4.5 边缘检测：提取结构信息

核心原理

边缘是图像灰度发生剧烈变化的位置，对应像素梯度幅值的局部极大值。OpenMV提供Sobel算子和Canny边缘检测两种方法。Sobel通过计算水平与垂直方向的梯度近似值，简单快速；Canny则包含高斯平滑、梯度计算、非极大值抑制和双阈值滞后连接四个步骤，能生成细且连续的边缘线，但计算量约为Sobel的3~5倍。

OpenMV实现与操作流程

# Sobel边缘检测（返回梯度幅值图）
img.sobel(ksize=3, threshold=True)

# Canny边缘检测（需先转灰度）
edges = img.to_grayscale(copy=True)
edges.canny(threshold_low=50, threshold_high=100, aperture_size=3)

Canny的threshold_low和threshold_high是关键参数：低于低阈值的像素被抑制，高于高阈值的像素确定为边缘，介于两者之间的像素若与已确定边缘相连则保留。建议初始设置threshold_low=50, threshold_high=100，再根据目标边缘密度调整。

方法	边缘连续性	计算耗时(QVGA)	适用场景
Sobel	一般，有断裂	约8ms	实时性要求高、边缘粗提取
Canny	好，连续细线	约25ms	精确轮廓提取、二维码定位

4.6 综合案例：工件定位中的预处理流水线

某工业分拣项目需识别传送带上的金属工件轮廓，并计算其中心坐标。现场存在环境光波动、传送带表面反光、工件表面轻微划痕等干扰。初始方案直接使用Canny边缘检测，结果出现大量伪边缘，且工件轮廓断裂严重。

分析过程：反光导致局部过曝，划痕产生高频噪声，光照波动使固定阈值失效。针对这三个问题，设计如下预处理流水线：

直方图均衡：img.equalize(adaptive=True, clip_limit=1.5)，抑制光照不均，增强工件与背景对比度。
高斯模糊：img.gaussian(ksize=3, sigma=1.0)，去除划痕等高频噪声，同时保留工件边缘。
Canny边缘检测：edges.canny(threshold_low=30, threshold_high=80)，低阈值降低以保留弱边缘，高阈值过滤噪声。
形态学闭运算：edges.close(ksize=3)，连接断裂边缘，填充小孔洞。

结果对比：优化前边缘检测产生约200条伪边缘，工件轮廓完整度仅60%；优化后伪边缘降至15条，轮廓完整度达95%，中心坐标计算误差从±5像素缩小至±1像素。代价是单帧处理时间从25ms增至38ms，但仍满足40ms的节拍要求。

  复盘经验：预处理不是越多越好，每增加一步都会引入延迟和潜在失真。建议遵循“最小必要”原则：先分析噪声来源和光照特性，再有针对性地选择1~3步预处理。同时，所有参数应在实际光照条件下标定，而非实验室理想环境。

4.7 常见误区与总结

误区一：对所有图像都执行完整预处理链。实际上，若目标与背景对比度足够，直接二值化即可，多余步骤只会降低帧率。
误区二：忽视预处理顺序。正确顺序应为：均衡→模糊→二值化/边缘检测。若先二值化再模糊，会破坏分割结果。
误区三：固定参数不调整。OpenMV的IDE提供帧缓冲区预览，应利用threshold editor和实时直方图动态调整参数。
误区四：忽略内存管理。copy=True会创建新图像对象，频繁调用可能导致内存碎片。在循环中尽量复用缓冲区。

总结而言，图像预处理是OpenMV视觉系统的地基工程。灰度化降低计算维度，二值化实现快速分割，直方图均衡应对光照变化，高斯模糊抑制噪声，边缘检测提取结构特征。掌握每种方法的原理、参数含义和适用边界，并根据实际场景灵活组合，才能构建稳定可靠的视觉识别系统。建议读者在OpenMV IDE中逐项实验，观察各步骤对最终识别结果的影响，形成自己的预处理决策框架。