4. 视觉感知基础
在工程机械环境感知系统中，视觉感知承担着“看懂现场”的核心任务。无论是挖掘机在基坑边缘作业、装载机在料堆前铲装，还是起重机在狭窄场地吊装，机器都需要先通过相机获取图像，再经过一系列算法把像素转化为可决策的环境信息。本节围绕相机模型、图像预处理、特征提取、目标检测与语义分割五个环节，说明它们如何串联成一条可落地的视觉感知链路。
一、相机模型：从三维世界到二维像素
相机模型描述的是空间点如何投影到图像平面。工程机械上常用的针孔模型可表示为：
s·[u, v, 1]ᵀ = K · [R | t] · [X, Y, Z, 1]ᵀ
K = [ fx 0 cx
0 fy cy
0 0 1 ]其中 K 为内参矩阵，fx、fy 为焦距，cx、cy 为主点；[R|t] 为外参，描述相机相对世界坐标系的位姿。工程机械振动大、安装角度多变，外参标定和在线校正尤其重要。若相机安装在动臂或车体上，还需结合 IMU 或关节角度补偿姿态变化，否则同一障碍物在图像中的位置会随车身晃动而漂移。
二、图像预处理：让算法在恶劣工况下稳定输入
工地环境存在粉尘、逆光、雨雾、泥浆和剧烈振动，原始图像往往对比度低、噪声大。预处理的目标是提升图像质量并统一输入规格，常见步骤包括：
- 去噪：高斯滤波、中值滤波或双边滤波，抑制粉尘和传感器噪声。
- 增强：直方图均衡、CLAHE、Gamma 校正，改善逆光或阴影区域。
- 几何变换：去畸变、缩放、裁剪、旋转，统一到网络输入尺寸。
- 颜色空间转换：RGB 转灰度、HSV 或 Lab，便于后续特征提取。
预处理不是越复杂越好。例如在实时避障中，若每帧都做高开销的双边滤波，会挤占检测网络的计算预算。工程上常采用“轻量去噪 + 自适应增强”的组合，并固定输入分辨率，保证帧率稳定。
三、特征提取：从像素到可描述的结构
特征提取负责把图像中具有区分度的信息提取出来。传统方法包括 SIFT、SURF、ORB 等局部特征，以及 HOG、LBP 等纹理特征；深度学习方法则通过卷积网络自动学习多层特征。对工程机械而言，特征提取常用于：
- 识别料堆边缘、基坑边界、地面纹理变化；
- 跟踪作业区域内的动态目标；
- 为视觉里程计或 SLAM 提供匹配点。
在粉尘和低纹理地面场景中，纯手工特征容易失效，因此现代系统更倾向使用 CNN 主干网络提取语义特征，再接入检测或分割头。
四、目标检测与语义分割：输出可决策的环境表达
目标检测回答“有什么、在哪里”，输出类别与边界框；语义分割回答“每个像素属于什么”，输出逐像素类别。两者在工程机械中分工不同：
| 任务 | 典型输出 | 工程机械应用 |
|---|---|---|
| 目标检测 | 类别 + 边界框 + 置信度 | 行人、车辆、锥桶、电线杆识别与避障 |
| 语义分割 | 逐像素类别图 | 可行驶区域、基坑边界、料堆轮廓提取 |
| 实例分割 | 像素级掩码 + 实例 ID | 多目标跟踪、精细作业引导 |
典型检测网络如 YOLO 系列、Faster R-CNN，分割网络如 U-Net、DeepLab、SegFormer。工程部署时需在精度与实时性之间权衡：挖掘机避障通常要求 10～30 FPS，分辨率可降至 640×640 或 512×512；若用于精细作业引导，则可提高分辨率但降低帧率。
五、典型场景：挖掘机基坑边缘避障
以挖掘机在基坑边缘作业为例，视觉链路可这样落地：
- 安装在车体前部的广角相机采集图像，经去畸变和姿态补偿得到稳定视图；
- 预处理模块抑制粉尘噪声并增强边缘对比度；
- 检测网络识别行人、支撑梁、锥桶等目标，输出边界框；
- 分割网络提取可行驶区域和基坑边界，判断履带与边缘的安全距离；
- 融合结果送入决策模块，触发减速、限位或告警。
六、常见误区与复盘
- 只关注模型精度，忽略标定与预处理：外参失准会让检测框“看起来对、实际偏”，导致避障距离误判。
- 用公开数据集直接部署：工地粉尘、逆光、泥浆与通用数据集差异大，必须补充现场数据微调。
- 忽视帧率与延迟：检测再准，若延迟超过 200 ms，高速行走的机械仍可能来不及制动。
- 分割结果未做时序滤波：单帧分割易受扬尘干扰，需结合多帧跟踪或卡尔曼滤波稳定输出。
复盘时应重点检查：标定误差是否在允许范围内、预处理是否引入伪影、检测与分割的置信度阈值是否适配现场、端到端延迟是否满足安全制动距离要求。只有把相机模型、预处理、特征提取、检测与分割作为一个整体调优，视觉感知才能真正服务于工程机械的安全避障。