📚 课程目录第2章基础知识

2、基础知识：缺陷检测模型输出类型（分类、分割、检测框）、后处理在pipeline中的位置

在工业视觉缺陷检测场景中，模型输出的原始结果往往不能直接用于产线判定或缺陷可视化。无论是基于深度学习的语义分割网络，还是传统的阈值分割算法，其输出都只是“像素级”或“区域级”的中间表达。要让检测结果真正服务于质量管控、缺陷追溯和自动化分拣，必须经过一系列后处理操作。理解模型输出的三种基本类型——分类、分割、检测框——以及后处理在整个pipeline中的位置，是设计高效、稳定缺陷检测系统的前提。

2.1 三类模型输出的本质与适用场景

缺陷检测模型的输出类型决定了后处理策略的复杂度。分类输出最简单，只给出整张图像或ROI区域的类别标签；分割输出最精细，为每个像素赋予缺陷类别；检测框输出则介于两者之间，给出缺陷的矩形包围盒及置信度。实际工业场景中，三类输出并非互斥，许多系统会同时使用多种输出——例如先用检测框快速定位疑似区域，再用分割网络细化缺陷轮廓。

输出类型	数据形式	典型算法	后处理重点	适用场景
分类	类别标签 + 概率向量	ResNet、EfficientNet、ViT	阈值设定、类别映射、误判抑制	表面有无缺陷、缺陷类型粗判
分割	像素级Mask（H×W×C）	U-Net、DeepLabV3+、SegFormer	阈值分割、连通域分析、形态学操作	精确测量缺陷面积、形状、边缘
检测框	BBox坐标 + 置信度 + 类别	YOLO系列、Faster R-CNN、DETR	NMS、置信度过滤、框回归修正	多缺陷定位、实时产线检测

分类输出在工业中常用于“过杀”与“漏杀”的权衡。例如，在PCB焊点检测中，模型输出“虚焊”、“桥连”、“正常”三个类别的概率。后处理阶段需要设定一个合理的置信度阈值——若阈值设得过高，漏检率上升；设得过低，误报率增加。分割输出则常用于需要精确测量缺陷尺寸的场景，如锂电池极片涂布缺陷的面积占比计算。检测框输出在汽车零部件表面缺陷检测中最为常见，因为产线需要快速知道“哪里有缺陷”以及“缺陷属于哪一类”。

2.2 后处理在Pipeline中的位置与职责边界

一个完整的缺陷检测pipeline通常包含：图像采集 → 预处理 → 模型推理 → 后处理 → 结果判定与反馈。后处理位于模型推理之后、业务决策之前，承担着“翻译”和“把关”的双重角色。它一方面将模型的原始输出转换为人类可读、可追溯的缺陷描述；另一方面通过规则过滤掉不符合物理约束的检测结果，防止误判流入下游工序。

核心职责划分：

模型推理：负责从像素中提取语义特征，输出概率图、特征图或候选框。
后处理：负责将模型输出转化为“可执行的决策信息”——包括缺陷是否存在、缺陷类别、位置、面积、严重程度等。
业务规则层：结合产线工艺要求（如缺陷面积超过0.5mm²即判废），做出最终放行/拦截决定。

后处理在pipeline中的位置决定了它必须兼顾“算法效率”与“业务适配”。在高速产线中，后处理往往需要在几毫秒内完成。例如，在瓶盖缺陷检测中，模型推理可能只需5ms，但后处理中的连通域分析、面积过滤和字符识别（OCR）可能需要额外8ms。如果后处理设计不当，就会成为整个系统的瓶颈。因此，后处理算法的选择需要权衡精度与速度——对于实时性要求高的场景，优先使用基于OpenCV的快速形态学操作；对于精度要求高的离线检测，可以采用更复杂的区域生长或分水岭算法。

2.3 后处理的核心操作流程

无论模型输出何种类型，后处理都遵循一个通用流程：原始输出解析 → 阈值/置信度过滤 → 空间去重（NMS）→ 业务规则校验 → 结果格式化。下面以检测框输出为例，展示典型的后处理步骤。

原始输出解析：从模型输出张量中提取候选框坐标（x, y, w, h）、置信度分数和类别ID。注意坐标可能需要从归一化值映射回原图尺寸。
置信度阈值过滤：设定一个基础阈值（如0.5），低于该值的候选框直接丢弃。这一步能去除大量背景误检。
类别置信度修正：对于多类别检测，需要检查每个类别的条件概率，避免类别间混淆。
NMS非极大值抑制：对同一缺陷的多个重叠框，保留置信度最高者，抑制其他框。IoU阈值通常设为0.5~0.7。
业务规则过滤：根据产线要求，过滤掉面积过小（噪声）、长宽比异常（非缺陷形状）、位置在ROI之外等无效检测。
结果格式化：输出JSON或XML格式的缺陷列表，包含缺陷ID、类别、坐标、面积、置信度等字段，供MES系统或PLC调用。

# 伪代码示例：检测框后处理流程
def postprocess(raw_outputs, conf_thresh=0.5, iou_thresh=0.5):
    boxes = []
    for output in raw_outputs:
        if output.confidence > conf_thresh:
            boxes.append(output)
    # NMS
    keep = nms(boxes, iou_thresh)
    # 业务规则过滤
    final = []
    for idx in keep:
        box = boxes[idx]
        area = box.w * box.h
        if area > MIN_AREA and box.x + box.w < IMG_WIDTH:
            final.append(box)
    return final

2.4 案例拆解：锂电池极片缺陷检测的后处理设计

某锂电池极片涂布产线需要检测“漏金属”、“划痕”、“颗粒”三类缺陷。模型采用YOLOv8输出检测框，但直接使用模型输出时，产线反馈误报率高达15%。分析发现，问题出在后处理规则过于简单——仅做了置信度过滤和NMS，没有结合工艺约束。

初始现象与关键数据：

模型mAP@0.5达到98.2%，但产线实际误报率15.3%。
漏检率0.8%，满足要求，但误报导致大量合格极片被拦截。
分析误报样本发现：约60%的误报来自“颗粒”类检测，且检测框面积普遍小于0.3mm²。

分析判断过程：通过统计误报框的分布，发现这些“颗粒”检测框集中在极片边缘区域，且长宽比接近1:1。进一步查看原始图像，确认这些是涂布过程中的微小气泡或灰尘，并非真正的金属颗粒缺陷。工艺工程师确认：直径小于0.5mm的颗粒不影响电池性能，可以忽略。

实际操作步骤：

在NMS之后增加面积过滤规则：缺陷框面积小于0.2mm²（映射到像素为12×12）直接丢弃。
增加位置约束：检测框中心点距离极片边缘小于5mm时，需要额外校验灰度对比度。
针对“颗粒”类，增加长宽比过滤：长宽比在0.8~1.2之间的框，置信度阈值从0.5提升至0.7。
增加基于灰度统计的二次确认：计算检测框内像素的灰度标准差，若小于设定值则视为噪声。

结果对比：经过上述规则调整后，误报率从15.3%降至2.1%，漏检率仅从0.8%微升至0.9%（仍在允许范围内）。产线每小时减少约40次误拦截，直接提升了生产效率。

风险与代价：面积过滤可能导致极小真实缺陷被漏掉，因此需要定期用标准缺陷样件校验阈值。灰度标准差过滤在光照波动时可能失效，需要配合光照补偿模块。

常见误区提醒：

误区一：认为NMS可以解决所有重叠框问题。实际上，NMS对密集小缺陷效果不佳，容易误抑制相邻的真实缺陷。
误区二：后处理规则越严格越好。过度过滤会显著提高漏检率，需要根据产线良率目标动态调整。
误区三：忽略后处理的耗时。在高速产线中，后处理耗时可能超过模型推理，成为瓶颈。
误区四：将业务规则硬编码在后处理中，导致换产时无法灵活调整。建议将规则参数化，通过配置文件管理。

2.5 总结与设计要点

后处理不是简单的“过滤噪声”，而是连接模型与业务的关键桥梁。设计后处理模块时，需要遵循以下原则：第一，明确输出类型与业务需求的映射关系——分类输出需要定义类别到判定动作的映射表；分割输出需要定义面积到缺陷等级的换算规则；检测框输出需要定义框属性到缺陷类型的对应关系。第二，后处理规则必须可配置、可追溯——所有阈值和规则参数应存储在配置中心，每次判定结果都应记录触发规则，便于回溯分析。第三，后处理与模型训练联动——如果后处理中频繁使用面积过滤，说明训练数据中缺少小缺陷样本，应针对性增强数据。

在实际项目中，建议后处理模块采用“分层设计”：底层是通用算法库（阈值、NMS、连通域），中间层是缺陷类型相关的规则引擎，顶层是产线特定的业务策略。这种分层结构既能保证算法复用性，又能快速适配不同产线的需求。最后，务必为后处理模块建立独立的测试集，包含边界案例（如极小缺陷、重叠缺陷、光照异常），确保规则变更不会引入回归问题。