4、图像预处理技术：提升图像质量的核心方法
在OpenMV视觉分类项目中，原始图像往往受到光照变化、噪声干扰、背景复杂等因素影响，直接送入分类器会导致识别率大幅下降。图像预处理的目标就是通过一系列算法操作，抑制无关信息、增强关键特征、统一图像规格，为后续的模型训练和本地识别提供高质量输入。本章将系统讲解图像滤波、二值化、边缘检测和形态学操作四大类预处理方法，并结合OpenMV实际开发场景给出可落地的参数配置与代码示例。
4.1 图像滤波：去除噪声的第一道防线
核心原理：图像滤波通过邻域像素的加权运算来平滑或锐化图像。在OpenMV场景中，传感器在弱光或高ISO下会产生高斯噪声，而电磁干扰可能导致椒盐噪声。滤波的本质是用周围像素的信息来修正当前像素值，从而抑制高频噪声成分。
| 滤波类型 | 核函数特点 | 适用场景 | OpenMV API |
|---|---|---|---|
| 均值滤波 | 邻域平均，计算快 | 轻度噪声，实时性要求高 | image.mean_filter(size) |
| 中值滤波 | 取邻域中值，保边缘 | 椒盐噪声、脉冲噪声 | image.median_filter(size) |
| 高斯滤波 | 加权平均，中心权重高 | 高斯噪声，平滑效果好 | image.gaussian_filter(size) |
操作流程：在OpenMV中，滤波操作通常在RGB或灰度图像上直接执行。对于彩色图像，建议先转换为灰度图再滤波，以减少计算量。滤波核大小（size）是关键参数——核越大，平滑效果越强，但边缘信息损失也越多。
# OpenMV图像滤波示例
import sensor, image
sensor.reset()
sensor.set_pixformat(sensor.GRAYSCALE) # 灰度图
sensor.set_framesize(sensor.QVGA)
while True:
img = sensor.snapshot()
# 中值滤波去除椒盐噪声，核大小3x3
img.median_filter(3)
# 高斯滤波进一步平滑，核大小5x5
img.gaussian_filter(5)
4.2 二值化：将灰度图像转化为黑白决策图
核心原理：二值化通过设定阈值将灰度图像分为前景（255）和背景（0）两部分。在视觉分类中，二值化能大幅减少数据维度，突出目标区域。OpenMV提供全局阈值、自适应阈值和OTSU自动阈值三种模式。
判断方法：选择阈值方式时，需观察灰度直方图分布。若直方图呈现明显的双峰，适合全局阈值；若光照不均导致灰度分布重叠，应使用自适应阈值；若无法手动确定阈值，则使用OTSU算法自动计算。
# 二值化操作对比
img = sensor.snapshot()
# 全局阈值（手动设定）
img.binary([(100, 255)], invert=False)
# OTSU自动阈值
threshold = img.get_histogram().get_threshold()
img.binary([(threshold.value(), 255)])
# 自适应阈值（处理光照不均）
img.adaptive_binary(block_size=31, offset=5)
4.3 边缘检测：提取目标轮廓的关键技术
核心原理：边缘检测通过计算图像灰度梯度来定位像素值剧烈变化的位置。OpenMV支持Sobel、Canny和Laplacian三种算子。Sobel算子计算一阶梯度，对噪声敏感；Canny算子包含高斯平滑、梯度计算、非极大值抑制和双阈值连接四个步骤，效果最稳定；Laplacian算子基于二阶导数，对噪声最敏感。
操作流程：在OpenMV中，边缘检测通常作为特征提取的前置步骤。推荐流程为：灰度化 → 高斯滤波 → Canny边缘检测 → 形态学闭运算连接断裂边缘。
# Canny边缘检测示例
img = sensor.snapshot()
img.gaussian_filter(3) # 先平滑
edges = img.find_edges(image.EDGE_CANNY, threshold=(50, 100))
# threshold参数：低阈值和高阈值，低于低阈值的像素被抑制，高于高阈值的像素保留
4.4 形态学操作：腐蚀与膨胀的工程应用
核心原理：形态学操作基于结构元素（kernel）对二值图像进行集合运算。腐蚀操作会缩小前景区域，消除小噪点；膨胀操作会扩大前景区域，填补空洞。开运算（先腐蚀后膨胀）用于去噪，闭运算（先膨胀后腐蚀）用于连接断裂区域。
| 操作 | 数学表达 | 效果 | 典型应用 |
|---|---|---|---|
| 腐蚀 | A⊖B | 缩小前景，去除小物体 | 去除孤立噪点 |
| 膨胀 | A⊕B | 扩大前景，填补空洞 | 连接断裂区域 |
| 开运算 | (A⊖B)⊕B | 先腐蚀后膨胀 | 去噪且保持尺寸 |
| 闭运算 | (A⊕B)⊖B | 先膨胀后腐蚀 | 填充内部空洞 |
# 形态学操作示例
img = sensor.snapshot()
img.binary([(50, 255)]) # 先二值化
# 腐蚀操作，去除小噪点
img.erode(1) # 参数为迭代次数
# 膨胀操作，连接断裂区域
img.dilate(2)
# 或者使用开闭运算
img.open(1) # 开运算
img.close(2) # 闭运算
4.5 实战案例：螺丝钉分拣系统中的预处理优化
背景与约束：某自动化产线需要利用OpenMV识别传送带上的螺丝钉，区分十字槽和一字槽两种类型。现场存在振动导致的图像模糊、环境光波动、传送带背景反光等问题。目标识别准确率需达到95%以上，处理帧率不低于15fps。
初始现象：直接使用原始图像训练分类器，准确率仅78%。分析发现：光照变化导致灰度分布偏移，振动产生运动模糊，背景反光造成伪边缘。
关键参数与调试过程：
- 滤波阶段：采用中值滤波（核3x3）去除椒盐噪声，处理时间8ms，边缘保留良好。
- 二值化阶段：使用OTSU自动阈值，避免手动调整。但发现OTSU在光照突变时不稳定，改用自适应二值化（block_size=15, offset=3），处理时间12ms。
- 形态学阶段：先腐蚀1次去除小噪点，再膨胀2次连接螺丝钉轮廓的断裂部分。处理时间6ms。
- 边缘检测：Canny阈值设为(40, 80)，提取螺丝钉头部轮廓，用于后续形状分类。
结果对比：预处理后，分类准确率提升至96.5%，帧率稳定在18fps。误识别主要发生在螺丝钉重叠场景，通过增加形态学闭运算（核5x5）进一步改善。
风险与代价：自适应二值化在强光直射时仍会出现局部过曝，需在产线加装遮光罩。形态学迭代次数过多会丢失细小特征，需根据螺丝钉实际尺寸标定核大小。
4.6 常见误区与总结
误区一：预处理步骤越多越好。每增加一步操作都会引入计算延迟和潜在信息损失。应遵循"最小必要"原则，只添加能显著提升分类效果的步骤。
误区二：滤波核越大越安全。大核虽然去噪效果好，但会严重模糊边缘，导致后续边缘检测失效。建议核大小不超过目标特征尺寸的1/3。
误区三：二值化后直接使用。二值化图像中常存在空洞和毛刺，必须配合形态学操作进行后处理，否则分类器会学习到噪声特征。
误区四：忽略计算资源限制。OpenMV的处理器性能有限，复杂的预处理链会降低帧率。建议使用img.copy()保存中间结果，便于调试和性能分析。
总结：图像预处理是OpenMV视觉分类项目的基石。滤波、二值化、边缘检测和形态学操作各有侧重，实际应用中需要根据目标特征、环境条件和硬件资源进行组合优化。建议开发流程为：采集样本 → 离线仿真预处理 → 确定参数 → 在线验证 → 固化代码。通过系统化的预处理，可以显著提升分类模型的鲁棒性和识别精度。