📚 课程目录第2章机器视觉与工业相机基础

2、机器视觉与工业相机基础：相机类型、传感器、分辨率、帧率、曝光、增益等核心概念

在Halcon机器视觉项目开发中，无论是配置GigE接口相机还是调试USB3.0相机，工程师首先需要建立对工业相机核心参数的准确理解。这些参数并非孤立的技术指标，而是直接决定图像质量、算法稳定性与项目成本的关键变量。本章将系统梳理工业相机的分类体系、传感器选型逻辑，并深入解析分辨率、帧率、曝光、增益等核心概念的内在关联，为后续章节的相机连接与参数配置打下坚实的理论基础。

2.1 工业相机类型与传感器选型

核心原理：面阵与线阵、CCD与CMOS的工程差异

工业相机按照传感器阵列结构可分为面阵相机和线阵相机。面阵相机以二维像素矩阵一次性采集整幅图像，适合静态或低速运动物体的定位、测量与识别；线阵相机则仅有一行或几行感光单元，通过物体与相机的相对运动逐行扫描拼接成完整图像，适用于大幅面、高速连续运动的场景，如印刷品检测、卷材表面缺陷筛查。在Halcon中，面阵相机通过grab_image直接获取二维图像，而线阵相机则需要配合编码器触发并调用grab_image_start与grab_image_async进行行数据拼接。

传感器类型方面，CCD（电荷耦合器件）与CMOS（互补金属氧化物半导体）是两大主流。CCD的感光单元将电荷逐行转移至输出放大器，具有噪声低、动态范围宽、全局快门易实现的优点，但功耗较高、读出速度受限；CMOS每个像素自带放大器与ADC，可随机访问、集成度高、帧率快、功耗低，但传统卷帘快门在拍摄高速运动物体时会产生果冻效应。近年来，全局快门CMOS技术已大幅缩小了与CCD的差距，成为工业视觉的主流选择。

对比维度	CCD传感器	CMOS传感器
噪声水平	较低，图像均匀性好	固定模式噪声较明显（已改善）
读出速度	较慢，受限于电荷转移	快，像素级并行读出
功耗	较高（多路供电）	低（单电压供电）
快门方式	全局快门为主	卷帘/全局可选
成本	较高	较低，集成度高
适用场景	高精度、低噪声科学成像	高速产线、智能相机、嵌入式视觉

判断方法：根据项目需求选择相机类型

选择相机类型时，应遵循以下判断流程：

被测物体是否运动：若物体静止或可停顿，优先考虑面阵CMOS全局快门相机；若物体高速运动且无法停顿，需评估帧率与曝光时间是否足够冻结运动模糊。
检测幅面与精度：若单次视野超过100mm且精度要求高于0.05mm，线阵相机配合编码器是更经济的选择；若视野较小，面阵相机更灵活。
环境光照条件：光照充足且稳定时，CMOS即可满足；弱光环境或需要长曝光时，CCD的低噪声优势更明显。
接口与系统集成：GigE接口适合传输距离超过5米、多相机组网的场景；USB3.0接口适合近距离、单相机、高带宽传输。

经验提醒：在Halcon中，可通过info_framegrabber查询相机支持的传感器类型、像素格式与快门模式。例如，info_framegrabber ('GigEVision2', 0, 'camera_type', Info, Value)可返回当前GigE相机的传感器类型信息，帮助确认硬件能力。

案例拆解：印刷品缺陷检测的相机选型

某印刷厂需要检测幅宽为300mm的卷材表面印刷缺陷，检测精度要求为0.1mm，产线速度最高为2m/s。若采用面阵相机，单次拍摄视野需覆盖300mm宽度，则分辨率至少为3000像素，且帧率需达到20fps以上才能满足连续检测。但面阵相机在高速运动下需要极短的曝光时间（<1ms），对光照要求极高。实际方案改为采用线阵相机（4K分辨率，行频10kHz），配合编码器触发，每行采集0.075mm宽度，通过Halcon的grab_image_start连续采集行数据，再使用concat_obj拼接为完整图像。该方案在保证精度的同时，降低了对光照强度的要求，且数据量可控。

常见误区与总结

误区一：认为CMOS一定不如CCD。实际上，现代全局快门CMOS在工业检测中已占据主导地位，且Halcon对CMOS的噪声校正算法已非常成熟。
误区二：忽略传感器靶面尺寸。同样分辨率下，1/1.8"传感器比1/3"传感器具有更大的像素尺寸，灵敏度更高，但镜头接口和视野计算需相应调整。
误区三：线阵相机必须搭配编码器。若物体速度恒定，也可使用定时触发，但速度波动会导致图像拉伸或压缩，Halcon中可通过set_framegrabber_param设置触发模式为编码器或定时器。

风险提示：选择线阵相机时，务必确认Halcon驱动是否支持该相机的行频控制与数据拼接格式。部分线阵相机输出的是Raw格式，需在Halcon中通过set_framegrabber_param ('PixelFormat', 'Mono8')进行格式转换，否则图像会出现错位或条纹。

2.2 分辨率与帧率：权衡图像细节与采集速度

核心原理：分辨率决定细节，帧率决定动态响应

分辨率是相机传感器上的像素总数，通常以水平像素数×垂直像素数表示，如2448×2048。分辨率决定了图像能够呈现的最小细节尺寸，即像素当量（mm/pixel）。像素当量 = 视野宽度 / 水平像素数。例如，视野为100mm，分辨率为2448像素，则每个像素代表0.0408mm。在Halcon中，可通过calibrate_cameras进行标定，获得更精确的像素当量。

帧率（FPS）是相机每秒采集并传输的图像帧数。帧率与曝光时间存在直接约束：一帧的总周期必须大于等于曝光时间与读出时间之和。若曝光时间设置为10ms，则理论最高帧率不超过100fps。此外，帧率还受接口带宽限制。GigE接口的理论带宽为1Gbps（实际有效约900Mbps），USB3.0为5Gbps（实际有效约3.2Gbps）。

判断方法：计算带宽与帧率上限

在配置相机参数前，应进行以下计算：

单帧数据量 = 水平像素 × 垂直像素 × 位深 / 8（字节）。例如，2448×2048像素、8位灰度，单帧数据量 = 2448×2048×1 = 5,013,504字节 ≈ 4.78MB。
最大帧率 = 有效带宽 / 单帧数据量。对于GigE接口，最大帧率 ≈ 900Mbps / (4.78MB×8) ≈ 23.5fps。若相机标称帧率为30fps，则实际无法达到，需降低分辨率或位深。
实际所需帧率 = 产线速度 / (视野宽度 × 检测精度)。例如，产线速度500mm/s，视野100mm，精度0.1mm，则所需帧率 = 500 / (100×0.1) = 50fps。

接口类型	理论带宽	有效带宽	典型最大帧率（500万像素8位）
GigE Vision	1 Gbps	~900 Mbps	~22 fps
USB3.0 Vision	5 Gbps	~3.2 Gbps	~80 fps
Camera Link	2.38 Gbps (Base)	~2.1 Gbps	~50 fps

案例拆解：电子元件引脚检测的帧率优化

某项目需检测PCB板上元件的引脚共面性，视野为50mm×40mm，精度要求0.02mm，产线节拍为每秒检测5片。计算所需分辨率：水平像素 = 50mm / 0.02mm = 2500像素，垂直像素 = 40mm / 0.02mm = 2000像素，即需500万像素相机。所需帧率 = 5fps。若采用GigE接口，单帧数据量 = 2500×2000×1 = 5MB，最大帧率约22fps，满足需求。但若产线提速至10片/秒，则需10fps，仍可满足。若进一步提速至20片/秒，则需20fps，接近GigE上限，此时应改用USB3.0接口或降低位深至10bit（数据量增加25%）。实际调试中，通过Halcon的set_framegrabber_param ('AcquisitionFrameRate', 20)设置帧率，并观察get_framegrabber_param ('FrameRate')确认实际帧率是否达到设定值。

常见误区与总结

误区一：盲目追求高分辨率。分辨率越高，数据量越大，帧率下降，且镜头分辨率和光照要求同步提高。应根据检测精度反推所需分辨率，留出1.5~2倍余量即可。
误区二：忽略像素格式对数据量的影响。将8位灰度改为12位灰度，数据量增加50%，帧率上限相应下降。
误区三：帧率设置过高导致丢帧。当实际帧率超过带宽上限时，相机内部缓冲区溢出，Halcon中会出现grab_image超时或图像不连续。此时应降低帧率或开启set_framegrabber_param ('GevSCPD', ...)调整包间隔。

总结复盘：分辨率与帧率的权衡本质是数据量与传输能力的平衡。在Halcon中，可通过set_framegrabber_param ('Width', ...)和set_framegrabber_param ('Height', ...)设置感兴趣区域（ROI），只采集必要区域，从而提升帧率。例如，将2448×2048缩小为1200×1000，数据量减少约75%，帧率可提升至原来的4倍。

2.3 曝光与增益：控制图像亮度的双刃剑

核心原理：曝光决定光能量，增益放大信号

曝光时间是传感器感光单元积累光电荷的时间，单位为毫秒（ms）或微秒（μs）。曝光时间越长，进入的光能量越多，图像越亮，但运动物体在曝光时间内移动会产生运动模糊。运动模糊像素数 = 物体移动速度 × 曝光时间 / 像素当量。例如，物体速度100mm/s，曝光时间5ms，像素当量0.05mm/pixel，则模糊量 = 100×0.005/0.05 = 10像素，严重影响测量精度。

增益是对传感器输出的模拟信号或数字信号进行放大，分为模拟增益和数字增益。增益提高会同时放大噪声，导致图像出现颗粒感，降低信噪比。在Halcon中，可通过set_framegrabber_param ('Gain', 10)设置增益值，单位通常为dB或百分比。

判断方法：曝光与增益的平衡策略

优先调整光源：增加光照强度或延长曝光时间，而不是提高增益。光源是改善图像质量最根本的手段。
曝光时间上限：根据运动模糊容忍度计算最大曝光时间。若允许模糊1像素，则曝光时间 ≤ 像素当量 / 物体速度。
增益下限：在曝光时间受限且光照不足时，适当增加增益，但应控制在12dB以内，避免噪声过度放大。
使用自动曝光/自动增益：Halcon支持set_framegrabber_param ('AutoExposure', 'Continuous')和set_framegrabber_param ('AutoGain', 'Once')，但自动模式在光照变化频繁时不稳定，建议在固定光照下使用手动模式。

参数	作用	优点	缺点
曝光时间	控制光电荷积累时间	不引入额外噪声，图像质量高	过长导致运动模糊
模拟增益	放大模拟信号	提升亮度，噪声增加较小	增益过高时噪声明显
数字增益	放大数字信号	灵活，不影响读出速度	噪声放大明显，动态范围降低

案例拆解：高速运动物体的曝光参数设置

某项目检测传送带上药瓶的瓶盖是否拧紧，传送带速度500mm/s，视野宽度100mm，相机分辨率为1280×1024，像素当量 = 100/1280 ≈ 0.078mm/pixel。要求运动模糊不超过2像素，则最大曝光时间 = 2×0.078 / 500 = 0.000312s = 0.312ms。实际设置曝光时间为0.3ms。此时若光照不足，图像偏暗，首先增加环形光源亮度至最大，若仍不足，则逐步增加增益至6dB，观察图像噪声是否影响Halcon的find_circle或measure_pos算子稳定性。若噪声过大，可考虑更换更高灵敏度的相机或增加辅助光源。

常见误区与总结

误区一：曝光时间越长越好。长曝光不仅产生运动模糊，还会导致传感器温度升高，暗电流增加，图像出现热噪声。
误区二：增益可以无限提高。增益超过一定阈值后，图像噪声会掩盖真实边缘信息，导致Halcon的亚像素边缘提取精度下降。
误区三：忽略自动曝光与自动增益的交互。当同时开启自动曝光和自动增益时，相机可能优先调整增益而非曝光，导致噪声增大。建议在Halcon中设置set_framegrabber_param ('AutoFunctionProfile', 'GainFirst')或'ExposureFirst'来控制优先级。

风险提示：在Halcon中调整曝光或增益后，务必重新执行grab_image获取新图像，并检查图像直方图是否过曝或欠曝。可使用min_max_gray算子获取灰度范围，确保目标区域灰度值在100~200之间，避免饱和或丢失细节。

2.4 核心参数的综合配置与Halcon实践

核心原理：参数间的相互制约与系统优化

分辨率、帧率、曝光、增益并非独立变量，它们共同受限于传感器量子效率、接口带宽和光照条件。例如，提高分辨率会增加数据量，降低帧率上限；缩短曝光时间需要更强的光照或更高的增益；增益提高又引入噪声，影响图像质量。因此，在Halcon中配置相机时，应遵循“先定分辨率，再算帧率，后调曝光，最后补增益”的顺序。

操作流程：Halcon中相机参数配置的标准步骤

打开相机：使用open_framegrabber ('GigEVision2', 0, 0, 0, 0, 0, 0, 'default', -1, 'default', -1, 'false', 'default', 'camera_name', 0, -1, Handle)打开相机。
设置分辨率与ROI：通过set_framegrabber_param (Handle, 'Width', 2448)和set_framegrabber_param (Handle, 'Height', 2048)设置全分辨率，或设置ROI减小数据量。
设置像素格式：set_framegrabber_param (Handle, 'PixelFormat', 'Mono8')或'RGB8'。
设置曝光时间：set_framegrabber_param (Handle, 'ExposureTime', 500)（单位微秒）。
设置增益：set_framegrabber_param (Handle, 'Gain', 6)（单位dB）。
设置帧率：set_framegrabber_param (Handle, 'AcquisitionFrameRate', 30)。
采集图像并验证：grab_image (Image, Handle)，使用get_image_pointer1检查图像数据，并通过intensity计算灰度均值。

案例拆解：GigE相机与USB3.0相机的参数配置对比

某项目需同时使用一台GigE相机（500万像素）和一台USB3.0相机（200万像素）进行双工位检测。GigE相机用于大视野粗定位，USB3.0相机用于小视野精测量。在Halcon中分别配置：

* GigE相机配置
open_framegrabber ('GigEVision2', 0, 0, 0, 0, 0, 0, 'default', -1, 'default', -1, 'false', 'default', 'cam1', 0, -1, GigEHandle)
set_framegrabber_param (GigEHandle, 'Width', 2448)
set_framegrabber_param (GigEHandle, 'Height', 2048)
set_framegrabber_param (GigEHandle, 'PixelFormat', 'Mono8')
set_framegrabber_param (GigEHandle, 'ExposureTime', 800)
set_framegrabber_param (GigEHandle, 'Gain', 4)
set_framegrabber_param (GigEHandle, 'AcquisitionFrameRate', 15)

* USB3.0相机配置
open_framegrabber ('USB3Vision', 0, 0, 0, 0, 0, 0, 'default', -1, 'default', -1, 'false', 'default', 'cam2', 0, -1, USBHandle)
set_framegrabber_param (USBHandle, 'Width', 1920)
set_framegrabber_param (USBHandle, 'Height', 1200)
set_framegrabber_param (USBHandle, 'PixelFormat', 'Mono8')
set_framegrabber_param (USBHandle, 'ExposureTime', 300)
set_framegrabber_param (USBHandle, 'Gain', 8)
set_framegrabber_param (USBHandle, 'AcquisitionFrameRate', 60)

实际运行中，GigE相机帧率稳定在15fps，USB3.0相机帧率稳定在60fps。通过get_framegrabber_param (GigEHandle, 'FrameRate', ActualFPS)验证实际帧率。若GigE相机出现丢帧，可检查网络丢包率，并调整set_framegrabber_param ('GevSCPD', 2000)增加包间隔。

常见误区与总结

误区一：所有相机参数都使用默认值。不同品牌相机的默认参数差异较大，必须根据实际场景手动设置。
误区二：忽略相机温度对暗电流的影响。长曝光或高帧率下，传感器温度升高，暗电流增加，图像会出现固定模式噪声。可通过set_framegrabber_param ('AcquisitionMode', 'Continuous')连续采集时，定期执行grab_image并做背景减除。
误区三：在Halcon中频繁修改参数导致相机重启。部分参数（如分辨率、像素格式）修改后需要重新初始化相机，应尽量在程序启动时一次性配置完成。

总结复盘：工业相机参数配置的核心是理解数据链路的瓶颈。GigE相机受限于网络带宽，USB3.0相机受限于USB控制器性能。在Halcon中，可通过get_framegrabber_param (Handle, 'Bandwidth', BW)查询当前带宽占用，并通过set_framegrabber_param ('GevSCPSPacketSize', 1500)调整网络包大小来优化传输效率。掌握这些底层机制，才能在实际项目中快速定位图像异常的根本原因。