2、工业缺陷检测基础：常见缺陷类型、检测难点与方案对比
工业缺陷检测是机器视觉在制造业中最核心的应用场景之一。在RK3588平台部署NPU推理模型之前，必须首先建立对缺陷本身的系统性认知：缺陷长什么样、为什么难检测、传统算法和深度学习各自的边界在哪里。本章将从缺陷类型、检测难点、方案对比三个维度展开，为后续的模型选型、数据准备和NPU部署打下基础。
2.1 常见缺陷类型及其成像特征
工业缺陷的种类繁多，但根据形态特征和成像表现，可以归纳为以下几大类。理解这些类型是设计检测算法和采集训练数据的前提。
2.1.1 表面划痕（Scratch）
划痕是金属、玻璃、塑料等光滑表面最常见的缺陷，通常由加工过程中的摩擦、碰撞或异物颗粒造成。在成像上，划痕表现为细长的线状暗区或亮区，方向随机，宽度从几微米到几十微米不等。由于划痕的对比度往往较低，且容易与材料本身的拉丝纹理混淆，因此检测时需要特别注意光照角度——低角度环形光或同轴光对划痕的凸显效果最佳。
2.1.2 污渍与油污（Stain/Oil）
污渍通常呈现为不规则的块状区域，灰度值可能与背景相近或略低，边缘模糊。油污在特定光照下可能产生干涉条纹或彩虹色斑。这类缺陷的难点在于其灰度特征不稳定，且容易与产品表面的正常图案、水印或涂层不均匀混淆。在检测中，常采用紫外光或偏振光来增强污渍与背景的差异。
2.1.3 裂纹（Crack）
裂纹多出现在陶瓷、玻璃、金属铸件或焊接部位，是严重的结构缺陷。裂纹的形态为曲折的线状，可能带有分支，宽度极细（微米级），且往往延伸方向不规则。在成像上，裂纹的对比度受光照方向影响极大，单次拍摄往往难以完整呈现。对于透明或半透明材料，背光照明可以显著增强裂纹的可视性；对于金属表面，则需采用多角度光或暗场照明。
2.1.4 压伤、凹坑与毛刺
压伤和凹坑表现为局部区域的灰度突变，通常具有明显的边缘和阴影，在3D轮廓上表现为凹陷。毛刺则是在边缘或孔位处突出的多余材料，在侧视或斜视光照下容易显现。这类缺陷相对容易检测，但难点在于区分“可接受的表面粗糙度”与“真正的缺陷”，需要设定合理的公差范围。
| 缺陷类型 | 典型形态 | 成像特征 | 推荐光照方式 | 检测难度 |
|---|---|---|---|---|
| 划痕 | 细长线状 | 低对比度、方向随机 | 低角度环形光/同轴光 | 中高 |
| 污渍 | 不规则块状 | 灰度不均、边缘模糊 | 紫外光/偏振光 | 中 |
| 裂纹 | 曲折线状、有分支 | 极细、对比度受光照影响大 | 背光/暗场照明 | 高 |
| 压伤/凹坑 | 局部凹陷 | 边缘明显、有阴影 | 穹顶光/多角度光 | 中低 |
| 毛刺 | 边缘突起 | 侧光下明显 | 侧视/斜视光 | 低 |
2.2 工业缺陷检测的核心难点
为什么工业缺陷检测被称为“机器视觉皇冠上的明珠”？因为它在实际场景中面临多重挑战，这些挑战直接影响算法选型和部署策略。
2.2.1 缺陷形态的多样性与微小型
同一类缺陷在不同产品、不同批次、不同工艺参数下，其形态、大小、方向都可能发生显著变化。例如，金属拉丝表面的划痕与镜面表面的划痕在成像上完全不同。此外，许多缺陷的尺寸仅为几个像素到几十个像素，在2000万像素的工业相机图像中占比极小，这对检测算法的分辨率要求极高。
2.2.2 背景纹理与噪声干扰
工业产品表面往往具有自身的纹理（如拉丝、喷砂、编织纹路），这些纹理在成像上可能与缺陷高度相似。传统算法依赖手工设计的滤波器（如Gabor、Sobel）来提取特征，但面对复杂背景时，特征的可区分性会急剧下降。深度学习虽然能自动学习特征，但需要大量标注数据来覆盖背景的多样性。
2.2.3 样本不均衡与稀缺性
在正常生产中，缺陷产品的比例通常低于1%，甚至低至0.1%。这意味着收集大量缺陷样本需要长时间的生产积累，且某些缺陷类型（如特定角度的裂纹）可能数月才出现一次。这种极端的数据不均衡给模型训练带来了巨大挑战，常用的解决思路包括数据增强、合成缺陷、迁移学习以及异常检测（仅用正常样本训练）。
2.2.4 实时性与算力约束
产线节拍通常要求检测系统在几十毫秒内完成单张图像的推理。在传统方案中，算法简单、速度快，但精度有限；深度学习模型精度高，但计算量大。RK3588 NPU提供了6 TOPS的算力，能够在边缘端运行轻量化的深度学习模型，但需要在模型结构、量化精度和推理框架层面进行深度优化。
2.3 传统视觉方案与深度学习方案对比
理解两种方案的优劣，有助于在具体项目中做出合理的技术选型。下表从多个维度进行了系统对比。
| 对比维度 | 传统视觉方案 | 深度学习方案 |
|---|---|---|
| 特征提取 | 手工设计（边缘、纹理、形态学） | 自动学习（CNN/Transformer） |
| 泛化能力 | 弱，换产品需重新调参 | 强，可迁移至相似产品 |
| 精度上限 | 中低，复杂背景易误检 | 高，可达到99%+ |
| 推理速度 | 极快（毫秒级） | 较快（需NPU/GPU加速） |
| 开发周期 | 短（1-2周） | 长（4-8周，含数据标注） |
| 可解释性 | 强，规则透明 | 弱，黑盒模型 |
| 硬件需求 | 低，普通工控机即可 | 高，需GPU训练，NPU/GPU推理 |
| 维护成本 | 换型需重新设计算法 | 换型需重新采集数据并微调 |
2.3.1 传统视觉方案的适用场景
传统视觉方案在以下场景中仍然具有不可替代的优势：
- 缺陷特征明确且稳定：如尺寸测量、有无检测、固定位置的毛刺检测。
- 实时性要求极高：如1000帧/秒的在线检测，传统算法无需复杂计算。
- 样本量极少：无法积累足够的缺陷数据来训练深度学习模型。
- 需要严格的可解释性：如医疗或航空领域的检测，需要明确说明判定依据。
2.3.2 深度学习方案的适用场景
深度学习方案在以下场景中表现更优：
- 缺陷形态复杂多变：如铸件表面的气孔、缩松，纹理背景上的细微划痕。
- 背景纹理干扰严重：深度学习能自动学习到更具判别力的特征。
- 多品种小批量生产：通过迁移学习，可以快速适应新产品。
- 检测精度要求极高：如锂电池极片缺陷检测，漏检率需控制在ppm级。
2.3.3 混合方案：传统+深度学习的融合
在实际工程中，最有效的方案往往是两者的结合。例如，先用传统算法进行图像预处理（ROI提取、光照校正、去噪），再用深度学习模型进行缺陷分类和定位。这种混合方案既能发挥传统算法的速度优势，又能利用深度学习的精度优势。在RK3588平台上，这种方案尤为实用——预处理在CPU上完成，推理在NPU上执行，两者并行流水线工作。
背景与约束：某汽车零部件厂需要检测铝合金压铸件表面的划痕、气孔和裂纹，产线节拍为2秒/件，要求漏检率<0.5%，误检率<2%。此前使用传统视觉方案，采用灰度阈值+形态学处理，但误检率高达8%，主要原因是压铸件表面的自然纹理与缺陷难以区分。
初始现象与目标：传统方案在均匀光照下对气孔检测效果尚可，但对划痕和裂纹几乎无效。项目目标是将误检率降至2%以下，同时保持漏检率不超标。
分析判断过程：我们采集了2000张真实样本（含300张缺陷样本），发现划痕和裂纹的灰度对比度极低（仅5-10个灰度级），且与拉丝纹理方向高度相关。传统算法无法通过固定阈值区分。
实际操作步骤：
1. 光学改造：将原环形光改为低角度环形光+同轴光组合，使划痕对比度提升至30个灰度级。
2. 传统算法保留：使用传统算法快速定位疑似缺陷区域（ROI），将全图6400×4800缩小至几个200×200的候选区域。
3. 深度学习分类：将候选区域输入一个轻量级CNN（MobileNetV3-Small），在RK3588 NPU上运行，输出缺陷类别和置信度。
4. 后处理：对置信度>0.9的结果直接判定，对0.5-0.9的结果进行二次确认（多角度图像复核）。
结果对比：混合方案将误检率从8%降至1.2%，漏检率保持在0.3%，单件检测耗时1.6秒（含图像采集和机械运动时间），满足产线节拍。
风险与代价：深度学习模型的训练需要300张标注缺陷样本，标注耗时约2人天；模型量化后精度损失约0.5%，但在可接受范围内。后续若产品型号更换，需要重新采集样本并微调模型，预计耗时1周。
复盘经验：光学方案的设计是项目成功的关键，它直接决定了后续算法的难度。混合方案在工业场景中极具性价比——传统算法负责“粗筛”，深度学习负责“精判”，两者互补。
2.4 常见误区与总结复盘
在工业缺陷检测项目的实施过程中，以下误区值得特别注意：
2.4.1 误区一：盲目追求深度学习
深度学习并非万能。在缺陷特征简单、背景干净的场景下，传统算法不仅开发快、运行快，而且更容易通过客户验收。建议在项目启动时，先评估缺陷的复杂度，如果传统算法能达到95%以上的准确率，优先使用传统方案。
2.4.2 误区二：忽视数据质量
深度学习模型的性能上限由数据质量决定。标注不准确、样本覆盖不全、光照条件不一致，都会导致模型在真实场景中表现不佳。在数据采集阶段，应尽量模拟产线的实际光照、角度和震动条件，并确保缺陷样本的多样性。
2.4.3 误区三：忽略NPU的算子限制
RK3588 NPU对模型的支持并非完全透明。在模型选型时，应查阅RKNN-Toolkit2的算子支持列表，避免使用NPU不支持的算子（如某些自定义激活函数）。建议优先选择RKNN官方支持的模型结构，如YOLOv5、YOLOv8、MobileNet系列等。
2.4.4 误区四：只关注精度而忽略延迟
在工业场景中，精度和延迟是同等重要的指标。一个精度99%但耗时200ms的模型，可能无法满足产线节拍。在RK3588上，应通过模型剪枝、量化（INT8）、输入分辨率调整等手段，在精度和速度之间找到平衡点。