2. 工业视觉与缺陷检测基础
工业视觉缺陷检测是智能制造中质量管控的核心环节，其本质是通过光学成像与图像处理技术，在生产线高速运转的节拍内自动识别产品表面的异常区域。与通用图像分类不同，工业缺陷检测面临的是小样本、强噪声、类间不均衡、实时性要求极高的复杂场景。本章将系统梳理常见缺陷类型及其物理成因，剖析检测任务的核心难点，并深入对比传统图像处理算法与深度学习方案在工业落地中的适用边界，为后续基于TensorRT的工程化部署奠定认知基础。
2.1 常见缺陷类型及其物理成因
工业产品的缺陷种类繁多，但根据形态特征和产生机理，可归纳为以下几大类。理解缺陷的物理成因是设计成像方案和选择算法的前提。
| 缺陷类型 | 典型形态 | 常见行业 | 物理成因 | 成像特征 |
|---|---|---|---|---|
| 划痕 | 线状、条状、方向性 | 金属加工、光学镜片、面板 | 机械摩擦、硬颗粒划伤 | 低角度光下高亮或暗线 |
| 污渍 | 块状、不规则、颜色异常 | PCB、食品包装、塑料件 | 油污、手印、残留液 | 灰度或色度与背景差异 |
| 裂纹 | 细线、分支状、微米级 | 陶瓷、玻璃、铸件 | 应力集中、热胀冷缩 | 高对比度但宽度极窄 |
| 缺料 | 凹陷、孔洞、边缘缺损 | 注塑件、压铸件、3D打印 | 模具磨损、填充不足 | 边缘轮廓异常、灰度突变 |
| 毛刺 | 凸起、尖刺状 | 冲压件、机加工件 | 刀具磨损、切削参数不当 | 边缘外延、阴影明显 |
| 色差 | 区域颜色偏差 | 喷涂、纺织、印刷 | 涂料批次差异、温度不均 | RGB/HSV空间偏移 |
在实际产线中，同一产品可能同时存在多种缺陷，且缺陷形态受光照、角度、表面纹理影响显著。例如，金属拉丝表面的划痕与纹理方向一致时，传统算法极易混淆。
2.2 缺陷检测的核心难点剖析
工业场景对缺陷检测提出了远比学术数据集严苛的要求，主要体现在以下四个维度：
- 类间不均衡与样本稀缺：良品率通常高于95%，缺陷样本占比极低，且某些缺陷（如裂纹）出现频率极低，导致训练数据严重偏斜。
- 缺陷形态的多样性与不确定性：同一类缺陷在不同产品、不同批次、不同光照下呈现完全不同的视觉表现，难以用固定模板覆盖。
- 实时性与算力约束：产线节拍通常要求单张图像处理时间在10-50ms内完成，且边缘设备算力有限，无法直接部署大模型。
- 成像环境的复杂性：环境光变化、反光、运动模糊、传感器噪声等干扰因素，会显著降低图像信噪比。
以锂电池极片缺陷检测为例，极片表面涂布不均匀产生的暗斑与正常纹理差异极小，且极片在高速运动下会产生拖影，这要求成像系统采用频闪光源与全局快门相机，同时算法需具备亚像素级的检测能力。
2.3 传统图像处理算法体系
传统算法基于人工设计的特征与规则，在特定场景下仍具有不可替代的优势。其核心流程为：图像预处理 → 特征提取 → 阈值/分类器判定。
2.3.1 核心方法
- 边缘检测：Canny、Sobel算子用于提取缺陷边界，适用于划痕、裂纹等线状缺陷。
- 阈值分割：全局/自适应阈值（Otsu、大津法）分离缺陷区域，适用于背景均匀的污渍、缺料检测。
- 形态学处理：膨胀、腐蚀、开闭运算用于连接断裂边缘、去除噪声点。
- 频域分析：傅里叶变换、小波变换提取纹理特征，适用于周期性纹理表面的异常检测。
- 模板匹配：基于灰度或几何形状的匹配，适用于定位精度要求高的场景。
2.3.2 传统算法的适用边界
| 优势 | 局限 |
|---|---|
| 计算速度快，CPU即可实时运行 | 对光照变化敏感，鲁棒性差 |
| 可解释性强，便于调试 | 特征设计依赖专家经验，泛化能力弱 |
| 无需训练数据，部署简单 | 复杂纹理背景下误检率高 |
| 适合规则明确、背景简单的场景 | 难以处理缺陷形态多变的情况 |
2.4 深度学习检测方案
深度学习通过数据驱动的方式自动学习特征表示，在复杂背景、多形态缺陷场景下表现出显著优势。根据任务类型，主要分为三类：
- 分类网络：ResNet、EfficientNet等，判断图像中是否存在缺陷，适用于粗检场景。
- 目标检测网络：YOLO系列、Faster R-CNN，定位缺陷位置并分类，适用于多缺陷并存场景。
- 分割网络：U-Net、DeepLab，像素级标注缺陷区域，适用于需要精确轮廓的场景（如裂纹长度测量）。
在工业落地中，轻量化设计是核心考量。以YOLOv8n为例，其参数量仅3.2M，在TensorRT FP16精度下，单张640×640图像的推理延迟可控制在5ms以内，完全满足高速产线需求。
2.4.1 数据增强与迁移学习
针对缺陷样本稀缺的问题，常用策略包括：
- 几何增强：旋转、翻转、裁剪、缩放，增加形态多样性。
- 颜色增强：调整亮度、对比度、饱和度，模拟光照变化。
- 混合增强：CutMix、Mosaic，提升模型对遮挡的鲁棒性。
- 迁移学习：使用ImageNet预训练权重，在小样本下快速收敛。
2.5 传统算法与深度学习的系统对比
| 对比维度 | 传统算法 | 深度学习 |
|---|---|---|
| 特征来源 | 人工设计（边缘、纹理、形状） | 数据自动学习 |
| 鲁棒性 | 对光照、噪声敏感 | 对复杂变化适应性强 |
| 训练数据需求 | 无需训练或少量参数调整 | 需要数百至数千张标注图像 |
| 推理速度 | 极快（<1ms） | 需GPU/NPU加速，优化后可达实时 |
| 可解释性 | 规则透明，易定位问题 | 黑盒模型，需可视化分析 |
| 开发周期 | 数天至一周 | 数周至数月（含数据标注） |
| 维护成本 | 产品换型需重新调参 | 需持续收集数据迭代模型 |
| 适用场景 | 背景简单、缺陷规则明确 | 纹理复杂、缺陷形态多变 |
2.6 案例拆解：某汽车零部件表面缺陷检测方案选型
背景与约束：某汽车零部件厂需要检测铝合金压铸件表面的划痕、气孔和缺料，产线节拍为每件3秒，检测精度要求漏检率<0.5%，误检率<2%。原有方案采用人工目检，漏检率高达3%，且人员流动大。
初始方案尝试：团队首先采用传统算法（Canny边缘+形态学+阈值分割），在实验室样本上检出率达到92%，但上线后因现场环境光波动和铸件表面纹理差异，误检率飙升至15%，无法满足要求。
分析过程：通过采集一周的现场图像（共12,000张，其中缺陷样本仅400张），发现主要干扰来自：①铸件表面脱模剂残留造成的伪边缘；②不同批次铸件表面粗糙度差异；③传送带振动导致的图像模糊。
方案调整：
- 优化成像：改用同轴光源+偏振片，消除反光干扰；采用全局快门相机，减少运动模糊。
- 数据策略：对400张缺陷样本进行离线增强（旋转、缩放、加噪），扩充至4,000张；同时采集2,000张正常样本覆盖不同批次。
- 模型选型：采用YOLOv8n作为基线，输入尺寸640×640，使用迁移学习初始化权重。
- 部署优化：训练后模型导出为ONNX，通过TensorRT进行FP16量化，在Jetson Orin Nano上实测推理延迟为8ms。
结果对比：最终方案漏检率降至0.3%，误检率1.8%，单件检测总耗时（含图像采集与通信）约1.2秒，满足节拍要求。相比传统算法，误检率降低了88%。
风险与代价：深度学习方案需要持续收集新缺陷样本进行模型迭代，初期标注成本较高（约2人周）。此外，TensorRT量化过程中需仔细验证精度损失，本案例中FP16量化后mAP下降仅0.5%，在可接受范围内。
复盘经验：①成像优化是项目成功的基石，投入产出比最高；②传统算法适合快速验证，但最终方案需结合深度学习提升鲁棒性；③TensorRT部署时需关注动态shape处理和内存管理，避免推理延迟抖动。
2.7 常见误区与总结复盘
通过多个项目的实践，以下误区值得特别注意：
- 误区一：认为深度学习万能，忽视成像设计。实际上，没有好的图像输入，任何算法都难以奏效。
- 误区二：过度追求高精度模型，导致推理速度不达标。工业场景中，精度与速度需要平衡，TensorRT量化是常用手段。
- 误区三：忽略正常样本的多样性。模型对正常纹理的过拟合会导致大量误检。
- 误区四：缺乏系统的评估指标。应同时关注漏检率、误检率、F1-score、单帧延迟等多个维度，而非仅看准确率。