2. 工业缺陷检测基础

工业缺陷检测是制造业质量管控的核心环节，其目标是在生产线上实时识别产品表面的各类瑕疵，防止不良品流入下游工序或终端市场。在引入瑞芯微NPU（神经网络处理单元）进行边缘推理之前，我们必须先厘清“要检测什么”“为什么难检测”以及“用什么方法检测”这三个根本问题。本章将从缺陷的物理形态出发，系统梳理常见缺陷类型及其成像特征，剖析工业场景下的检测难点，并深入对比传统视觉算法与深度学习方案在原理、适用性和工程代价上的差异，为后续基于RK3588等NPU平台的模型部署奠定认知基础。

2.1 常见缺陷类型及其成像特征

工业缺陷的物理本质是产品表面或内部结构与设计规格的偏离。从机器视觉的角度，这些偏离最终会表现为图像中的灰度变化、边缘突变、纹理异常或几何偏移。理解缺陷的成像特征是选择检测算法和设计光源方案的前提。

2.1.1 划痕（Scratch）

划痕是金属、玻璃、塑料等光滑表面最常见的缺陷，通常由加工过程中的硬质颗粒、刀具磨损或搬运碰撞造成。在图像上，划痕呈现为细长的线性结构，宽度可能仅有1-3个像素，长度从几毫米到几厘米不等。其灰度特征取决于光源角度：在明场照明下，划痕可能表现为暗线；在暗场照明下，划痕因散射光线而呈现亮线。划痕检测的核心难点在于其低对比度和方向随机性，且容易与产品表面的拉丝纹理、磨砂纹路混淆。

2.1.2 脏污（Contamination）

脏污包括油渍、灰尘、指纹、残留胶水等，常见于电子元器件、光学镜片和食品包装行业。脏污在图像上通常表现为灰度不均匀的块状区域，边缘模糊，与背景的对比度取决于污染物材质和厚度。油污在特定波长光源下可能呈现荧光效应，而灰尘颗粒则表现为离散的小亮点或暗点。脏污检测的挑战在于其形态不规则且灰度范围宽，同一类型的脏污在不同光照下可能呈现完全不同的视觉特征。

2.1.3 缺料（Missing Material）

缺料指产品在注塑、压铸、冲压等成型过程中，因材料填充不足或模具损坏导致的局部缺失。在图像上，缺料区域表现为形状不完整的轮廓、异常的凹陷或面积突变。与划痕不同，缺料通常具有明确的区域边界，但其形状和位置可能随工艺波动而变化。缺料检测需要算法具备对形状和面积变化的敏感性，同时要避免将设计中的通孔、凹槽等正常特征误判为缺料。

2.1.4 变形（Deformation）

变形包括弯曲、扭曲、翘曲、尺寸超差等几何偏差，常见于冲压件、注塑件和精密机械零件。变形的检测通常需要依赖参考图像或CAD模型进行比对，通过计算实际轮廓与标准轮廓的偏差来判定。在2D视觉中，变形可能表现为边缘位置的偏移或轮廓形状的改变；在3D视觉中，则表现为高度或深度的异常。变形检测的难点在于需要精确的定位基准，且微小变形（如0.1mm级别的翘曲）对成像系统的分辨率要求极高。

2.2 工业缺陷检测的核心难点

工业缺陷检测之所以长期依赖人工目检，是因为其面临的挑战远超一般图像识别任务。以下四个难点是方案选型时必须优先考虑的约束条件。

2.2.1 对比度与信噪比瓶颈

许多缺陷（特别是浅划痕和薄层脏污）与背景的灰度差异可能仅有10-20个灰度级（0-255范围），而传感器噪声和照明波动本身就可能引入5-10个灰度级的干扰。这意味着缺陷信号几乎淹没在噪声中。传统算法通过直方图均衡化或频域滤波可以部分增强对比度，但过度增强会同时放大噪声。深度学习模型则可以通过学习大量低对比度样本，自动提取微弱的纹理差异特征。

2.2.2 缺陷形态的类内多样性

以“划痕”为例，其形态可以是直线、曲线、网状、断续点状，深度可以从亚微米到数十微米，方向可以任意。一个固定参数的边缘检测算子很难覆盖所有划痕形态。传统方案通常需要针对每种形态设计专门的检测通道，导致系统复杂度急剧上升。而深度学习通过卷积核的堆叠，能够学习到从低级边缘到高级语义的多层次特征表达，天然具备处理形态多样性的能力。

2.2.3 纹理背景的干扰

许多工业产品表面本身具有规则或不规则的纹理，如拉丝铝板、碳纤维编织纹路、皮革毛孔等。这些纹理在图像中形成高频分量，与细小缺陷的频域特征重叠。传统算法使用Gabor滤波器或LBP（局部二值模式）进行纹理分析时，需要精细调整滤波器参数以区分“正常纹理”和“异常纹理”，这一过程高度依赖工程师的经验。深度学习方案通过数据驱动的方式自动学习纹理的统计分布，对“异常”的定义更加灵活。

2.2.4 实时性与算力约束

产线节拍通常要求单件检测时间在50-200ms以内，这意味着算法必须在极短时间内完成图像采集、预处理、推理和结果输出。传统算法虽然计算量小，但复杂的多步骤流水线（如滤波→分割→特征提取→分类）在CPU上串行执行时，总耗时可能超过预算。深度学习模型在GPU上推理速度快，但工业现场往往不具备部署GPU的条件。瑞芯微RK3588等边缘NPU的出现，使得在6TOPS算力下运行轻量化模型成为可能，为深度学习方案在产线边缘落地提供了硬件基础。

2.3 传统视觉算法与深度学习方案的深度对比

传统视觉算法和深度学习方案并非简单的替代关系，而是适用于不同场景的互补技术。理解两者的本质差异，有助于在项目初期做出正确的技术选型。

2.3.1 传统视觉算法的技术原理与适用边界

传统视觉算法的核心思想是“特征工程+规则判断”。工程师根据缺陷的物理特性，设计特定的图像处理算子来提取特征，然后通过阈值、逻辑判断或浅层分类器（如SVM）进行决策。典型的流程包括：图像预处理（去噪、增强）→ 缺陷分割（阈值、边缘、区域生长）→ 特征提取（面积、周长、灰度均值、纹理统计量）→ 分类判定。

传统算法的优势在于可解释性强：每一个检测步骤都有明确的物理意义，便于调试和追溯。同时，其计算量小，在嵌入式CPU上即可实时运行。然而，其局限性同样明显：对光照变化敏感、难以处理复杂纹理背景、需要针对每种缺陷单独调参、维护成本高。当产品型号频繁切换或缺陷形态多变时，传统方案的适应性较差。

2.3.2 深度学习方案的技术原理与工程优势

深度学习方案采用“数据驱动+端到端学习”的模式。卷积神经网络（CNN）通过大量标注样本自动学习从图像像素到缺陷类别的映射关系，无需人工设计特征。在工业检测中，常用的网络架构包括：用于分类的ResNet、用于目标检测的YOLO系列、用于像素级分割的U-Net和DeepLab系列。

深度学习的核心优势在于强大的特征表达能力和泛化性能。一个训练良好的模型可以同时检测多种类型的缺陷，且对光照变化、产品型号切换具有更强的鲁棒性。此外，模型的推理过程高度并行化，在GPU或NPU上可以实现毫秒级延迟。但深度学习的代价是：需要大量标注数据（通常每类缺陷至少需要500-1000个样本）、训练过程需要GPU资源、模型推理需要额外的硬件加速单元。

2.3.3 混合方案：传统算法预处理+深度学习分类

在实际工程中，纯粹的单一方案往往不是最优解。一种常见的混合策略是：使用传统算法进行感兴趣区域（ROI）定位和粗分割，将候选缺陷区域裁剪出来，再送入轻量级CNN进行分类确认。这种方案的优势在于：传统算法负责缩小搜索范围，减少深度学习模型的计算量；深度学习负责精确分类，弥补传统算法在复杂场景下的不足。在RK3588平台上，这种混合方案可以充分利用CPU（运行传统算法）和NPU（运行CNN）的异构计算能力。

2.4 案例拆解：某连接器端子表面缺陷检测方案选型

为更直观地说明上述概念，我们以一个典型的连接器端子检测项目为例，展示从缺陷分析到方案选型的完整决策过程。

2.4.1 项目背景与约束

某汽车电子工厂需要检测铜合金端子表面的缺陷，端子尺寸约5mm×3mm，产线节拍要求120ms/件。缺陷类型包括：冲压划痕（宽度0.02-0.05mm）、油污残留（面积0.1-0.5mm²）、电镀缺料（边缘缺损）和微小变形（弯曲角度偏差<0.5°）。现场照明为环形LED低角度光源，相机分辨率为2048×1536，灰度相机。

2.4.2 初始方案与问题

项目初期尝试使用传统视觉方案：通过Sobel边缘检测提取划痕，使用灰度阈值分割油污，通过模板匹配检测缺料和变形。实际测试发现：划痕检测的漏检率高达15%，主要原因是部分划痕与端子表面的拉丝纹理方向一致，边缘响应被纹理淹没；油污检测的误检率约8%，因为端子在冲压过程中本身存在灰度不均的区域，被误判为油污。

2.4.3 方案调整与实施

经过分析，决定采用混合方案：

1. 传统算法预处理：使用背景差分法定位端子区域，裁剪出ROI（约400×300像素），减少计算量。
2. 深度学习分类：收集了2000张正常样本和1500张缺陷样本（每类缺陷约300-400张），训练一个轻量级ResNet-18分类模型，输入尺寸224×224，输出4类缺陷+1类正常的概率。
3. NPU部署：将训练好的模型转换为ONNX格式，使用RKNN-Toolkit进行INT8量化，部署到RK3588的NPU上。实测单次推理耗时约18ms。
4. 后处理融合：对于深度学习输出概率大于0.7的缺陷，直接判定；对于概率在0.4-0.7之间的模糊样本，结合传统算法的特征（如划痕长度、油污面积）进行二次确认。

2.4.4 结果与复盘

最终系统在产线上运行稳定：漏检率降至0.5%以下，误检率控制在1%以内，单件总耗时约85ms（含图像采集和预处理），满足120ms节拍要求。复盘经验如下：

• 深度学习模型对低对比度划痕的检测能力显著优于传统边缘检测，但需要确保训练数据覆盖不同光照角度下的划痕形态。
• 混合方案中的传统算法部分并非多余，它有效过滤了约70%的明显正常区域，减轻了NPU的负载。
• INT8量化后模型精度从98.2%降至97.5%，仍在可接受范围内，但需在量化后重新验证所有缺陷类别的召回率。

2.5 常见误区与总结复盘

在工业缺陷检测项目的实施过程中，以下误区值得特别注意：

• 误区一：盲目追求高精度模型。在产线环境中，99%的精度与99.5%的精度可能意味着完全不同的误检数量。应根据客户对漏检和误检的容忍度，设定合理的精度目标，避免过度设计导致模型复杂度和推理延迟上升。
• 误区二：忽视数据采集的光照一致性。深度学习模型对训练数据分布敏感。如果产线光照与训练时的光照不一致，模型性能会显著下降。建议在数据采集阶段就固定光源角度、亮度和相机参数，并在部署时增加光照监测。
• 误区三：将传统算法与深度学习对立。两者各有优势，合理的融合可以取长补短。传统算法适合处理已知的、规则性的问题，深度学习适合处理未知的、复杂的问题。
• 误区四：忽略边缘推理的功耗和散热。RK3588在满负载运行NPU时功耗约5-8W，需要设计合理的散热结构。在密闭的工业机箱中，应增加散热片或风扇，防止芯片降频导致推理延迟增加。

总结而言，工业缺陷检测的基础在于对缺陷物理特性和成像规律的深刻理解。传统视觉算法提供了可解释、轻量化的解决方案，而深度学习方案则带来了更强的泛化能力和适应性。在瑞芯微NPU平台上，通过合理的方案选型和工程优化，可以在有限算力下实现高效、可靠的缺陷检测，为产线边缘推理提供坚实的技术支撑。