图像采集与预处理：图像类型、ROI选择、灰度化、二值化、滤波、形态学操作

在Halcon视觉项目中，图像采集与预处理的质量直接决定了OCR识别与条码定位的成败。工业现场的光照波动、反光干扰、运动模糊、背景纹理杂乱等问题，都会使原始图像中的字符或条码信息被噪声淹没。本章将系统讲解从相机采集到送入识别引擎前的完整处理链路，涵盖图像类型选择、ROI（感兴趣区域）裁剪、灰度化、二值化、滤波去噪和形态学修正六大核心环节，并结合Halcon算子给出可落地的工程方案。

2.1 图像类型选择与转换

核心原理：Halcon支持多种图像类型，包括byte（8位无符号）、uint2（16位无符号）、int1（8位有符号）、int2（16位有符号）、real（浮点）等。工业视觉中90%以上的场景使用byte类型，因为其灰度范围0-255恰好覆盖8位相机的输出动态范围。对于高动态范围（HDR）场景或需要更高精度测量的应用，uint2类型可保留更多细节，但后续处理速度会下降约30%。

判断方法：选择图像类型时需考虑三个因素：相机位深、处理精度要求和内存带宽。若相机输出12位RAW数据，应先用read_image读取为uint2，再通过scale_image或convert_image_type转为byte类型。对于OCR任务，除非字符边缘存在严重的光晕或渐变，否则byte类型已足够。

// 图像类型转换示例
read_image (Image, 'phone_serial.png')
// 将uint2转为byte（若相机输出12位）
convert_image_type (Image, ImageByte, 'byte')
// 灰度范围拉伸
scale_image_max (ImageByte, ImageScaled)
// 获取图像尺寸
get_image_size (ImageScaled, Width, Height)

2.2 ROI选择与仿射变换

核心原理：ROI（Region of Interest）是从整幅图像中裁剪出包含目标字符或条码的子区域。合理的ROI能大幅减少处理数据量，同时排除背景干扰。Halcon中ROI可以是矩形、旋转矩形、圆或任意多边形，通过reduce_domain算子将图像域限制在ROI内。

操作流程：ROI选择需遵循"先粗后精"原则。首先根据机械定位或模板匹配结果确定大致位置，然后通过threshold或connection算子进一步细化。对于条码定位，建议使用find_barcode_model_2d的候选区域作为ROI；对于OCR，可结合字符区域的外接矩形动态调整。

ROI类型	适用场景	Halcon算子	处理速度
矩形ROI	字符区域规则、无旋转	rectangle1_domain	最快
旋转矩形ROI	条码倾斜、字符带角度	rectangle2_domain	较快
多边形ROI	异形区域、多字符块	gen_region_polygon	中等
动态ROI	目标位置漂移	reduce_domain + move_region	较慢

// 动态ROI + 仿射校正示例
// 假设已通过模板匹配获得目标中心Row, Column和角度Angle
vector_angle_to_rigid (Row, Column, Angle, Row, Column, 0, HomMat2D)
affine_trans_image (Image, ImageAffine, HomMat2D, 'constant', 'false')
// 裁剪固定大小的ROI
gen_rectangle1 (ROI, Row-50, Column-200, Row+50, Column+200)
reduce_domain (ImageAffine, ROI, ImageReduced)

2.3 灰度化与直方图分析

核心原理：灰度化是将彩色图像转换为单通道灰度图的过程。Halcon中rgb1_to_gray采用加权平均法（R:0.299, G:0.587, B:0.114），也可通过decompose3提取单通道。对于OCR任务，灰度化的目标是最大化字符与背景的对比度，而非单纯追求视觉美观。

判断方法：当字符颜色与背景颜色在RGB空间中差异明显但灰度值接近时（如红字蓝底），直接灰度化会丢失对比度。此时应通过trans_from_rgb转换到HSV或Lab颜色空间，提取饱和度或色相通道作为灰度图。

// 颜色空间转换提取饱和度通道
read_image (ImageColor, 'date_code.png')
trans_from_rgb (ImageColor, ImageH, ImageS, ImageV, 'hsv')
// 使用饱和度通道作为灰度图
scale_image_max (ImageS, ImageGray)

直方图分析：灰度直方图是选择二值化阈值的重要依据。Halcon中gray_histo可计算ROI内的灰度分布。理想情况下，直方图呈现双峰形态，峰谷即为最佳阈值。若直方图单峰或平坦，说明光照不均或对比度不足，需先进行滤波或增强处理。

2.4 二值化：全局与自适应

核心原理：二值化将灰度图转换为黑白二值图，是OCR和条码识别的关键前置步骤。Halcon提供threshold（全局阈值）和dyn_threshold（局部自适应阈值）两种主要方式。全局阈值适用于光照均匀的场景，而局部自适应阈值通过比较像素与邻域均值的差异，能有效应对光照渐变。

操作流程：选择二值化方法时，先观察ROI内的灰度均匀性。若背景灰度波动小于20个灰度级，使用全局阈值；若波动较大或存在阴影，使用dyn_threshold并设置合适的邻域尺寸（通常为15×15至31×31）。

方法	算子	适用场景	参数要点
全局阈值	threshold	光照均匀、对比度高	MinGray, MaxGray
自适应阈值	dyn_threshold	光照渐变、阴影	Offset, LightDark
OTSU	threshold + 直方图分析	双峰明显	自动计算阈值
局部均值	mean_image + threshold	纹理背景	核大小, 偏移量

// 自适应阈值示例
mean_image (ImageGray, ImageMean, 21, 21)
dyn_threshold (ImageGray, ImageMean, RegionDyn, 8, 'dark')
// 全局阈值示例
threshold (ImageGray, RegionThresh, 80, 200)

2.5 滤波去噪：高斯、中值与频域

核心原理：滤波的目的是去除图像中的随机噪声、椒盐噪声或周期性干扰，同时保留字符边缘信息。Halcon中gauss_filter用于平滑高斯噪声，median_image用于去除椒盐噪声，mean_image用于简单平滑。频域滤波（如fft_image）可针对特定频率的干扰（如摩尔纹）进行陷波处理。

判断方法：噪声类型决定滤波选择。若图像出现黑白颗粒点，使用中值滤波；若边缘模糊但无颗粒感，使用高斯滤波；若存在周期性条纹，需在频域处理。滤波核大小直接影响效果：3×3保留细节但去噪弱，7×7去噪强但边缘模糊。

// 中值滤波去除椒盐噪声
median_image (ImageGray, ImageMedian, 'circle', 3, 'mirrored')
// 高斯滤波平滑噪声
gauss_filter (ImageGray, ImageGauss, 3)
// 边缘增强
emphasize (ImageGauss, ImageEmphasized, 7, 7, 1.5)

2.6 形态学操作：膨胀、腐蚀与开闭运算

核心原理：形态学操作基于集合论，通过结构元素（如矩形、椭圆、十字形）对二值图像进行膨胀（扩大前景）、腐蚀（缩小前景）、开运算（先腐蚀后膨胀，去除小噪点）和闭运算（先膨胀后腐蚀，填充小孔洞）。在OCR和条码定位中，形态学主要用于修复字符断裂、连接断开的笔画、去除孤立噪点。

操作流程：形态学处理需根据目标特征选择结构元素。对于细长条码，使用矩形结构元素（如5×1）可保持条码宽度；对于圆形字符，使用椭圆结构元素更合适。操作次数通常为1-3次，过多会导致字符变形。

操作	算子	作用	典型应用
膨胀	dilation1	扩大前景区域	连接断裂笔画
腐蚀	erosion1	缩小前景区域	去除细小毛刺
开运算	opening	先腐蚀后膨胀	去除孤立噪点
闭运算	closing	先膨胀后腐蚀	填充字符内部孔洞

// 开运算去除噪点
opening (RegionBinary, RegionOpened, gen_circle (20, 20, 3))
// 闭运算填充孔洞
closing (RegionOpened, RegionClosed, gen_rectangle1 (0, 0, 5, 5))
// 连通域分析
connection (RegionClosed, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 100, 99999)

2.7 综合案例：PCB板二维码定位与读取

背景与约束：某电子制造厂需要在PCB板流水线上读取贴片位置的DataMatrix二维码，用于追溯管理。产线节拍要求每件处理时间小于500ms，相机为500万像素黑白相机，视野内包含PCB板边缘、焊盘和走线等复杂背景。初始识别率仅为78%，主要失败原因是二维码区域反光和背景干扰。

初始现象与目标：二维码位于PCB板右下角，尺寸约8mm×8mm，周围有密集的走线和焊盘。光照为环形LED，但PCB板表面存在局部反光，导致二维码部分模块过曝或欠曝。目标是将识别率提升至99%以上，且单件处理时间不超过450ms。

关键输入数据：原始图像灰度直方图显示双峰不明显，背景灰度范围40-200，二维码模块灰度范围60-180，对比度低。通过gray_histo分析，ROI内灰度标准差达到35，说明光照不均。

分析判断过程：首先尝试全局阈值，但无法同时兼顾过曝和欠曝区域。改用dyn_threshold后，背景噪点增多。进一步分析发现，反光区域呈高亮块状，可通过形态学开运算去除。最终方案确定为：ROI裁剪→中值滤波→自适应二值化→开运算去噪→闭运算填充→连通域筛选。

实际操作步骤：

1. 使用reduce_domain裁剪二维码区域，ROI尺寸为120×120像素，预留10像素余量。
2. 应用median_image（5×5圆形核）去除椒盐噪声。
3. 使用dyn_threshold，邻域尺寸21×21，偏移量6，提取暗色前景。
4. 执行opening（3×3矩形核）去除孤立噪点。
5. 执行closing（5×5矩形核）填充模块内部孔洞。
6. 通过connection和select_shape筛选面积在50-500像素之间的连通域。

结果对比：优化前识别率78%，平均处理时间380ms；优化后识别率99.2%，平均处理时间410ms。虽然处理时间略有增加，但满足450ms的节拍要求。失败案例中，2例为二维码本身印刷缺陷，1例为极端反光导致模块丢失。

风险与代价：形态学操作可能将相邻模块连接成块，导致解码失败。为此增加了select_shape的宽高比约束（0.5-2.0），有效避免了模块粘连问题。

复盘经验：预处理流程并非越复杂越好。本案例中，高斯滤波被证明不如中值滤波有效，因为反光噪声更接近椒盐噪声。此外，ROI的精准裁剪节省了约30%的处理时间，说明ROI选择是性能优化的第一杠杆。