3、AI与机器学习基础：监督学习、分类与检测任务、模型评估指标（准确率、召回率、F1、IoU等）

在AI缺陷识别项目中，模型训练与数据标注的质量直接决定最终系统的可靠性。理解监督学习的基本范式、分类与检测任务的本质差异，以及如何科学地评估模型性能，是每一位参与数据标注与模型迭代的工程师必须掌握的核心知识。本章将系统梳理这些基础概念，并结合工业缺陷检测场景，深入剖析各项评估指标的实际含义与使用陷阱。

监督学习范式 任务类型 评估指标 训练数据（图像+标签） 特征提取与学习 模型（分类器/检测器） 预测输出 评估与迭代优化 分类任务 整图/区域 → 类别标签 检测任务 定位 + 分类（边界框） 实例分割 像素级掩码 + 类别 缺陷检测常用 分类 + 检测 + 分割 准确率 Accuracy 整体正确比例 精确率 Precision 预测为正的样本中真实正例比例 召回率 Recall 真实正例中被正确找出的比例 F1 Score 精确率与召回率的调和平均 IoU / mAP 检测框与真实框的重叠度 数据标注 → 模型训练 → 评估 → 迭代 根据业务需求选择任务类型 指标选择决定优化方向

3.1 监督学习核心原理

监督学习（Supervised Learning）是AI缺陷识别中最常用的机器学习范式。其核心思想是：通过大量已标注数据（即输入图像与对应的真实标签）来训练模型，使模型能够学习从输入到输出的映射关系。在缺陷检测场景中，输入是产品图像，输出是缺陷类别或缺陷位置。

核心要素：监督学习的三要素是数据、模型和损失函数。数据质量决定上限，模型结构决定逼近能力，损失函数决定优化方向。在工业缺陷检测中，数据标注的准确性往往比模型结构的选择更为关键。

3.1.1 训练与推理流程

  1. 数据准备：采集包含缺陷与正常样本的图像，进行清洗和预处理（尺寸统一、亮度归一化等）。
  2. 数据标注：根据任务类型（分类/检测/分割）为每张图像添加标签。分类任务标注类别，检测任务标注边界框和类别，分割任务标注像素级掩码。
  3. 模型训练：将标注数据分为训练集、验证集和测试集。模型在训练集上学习特征，在验证集上调整超参数，在测试集上评估最终性能。
  4. 推理部署：训练完成的模型部署到产线，对实时采集的图像进行预测。

3.1.2 数据划分策略

数据集 比例 用途 注意事项
训练集 70%-80% 模型参数学习 需覆盖各类缺陷的多样性
验证集 10%-15% 超参数调优、早停 不能参与训练，但用于模型选择
测试集 10%-15% 最终性能评估 必须完全独立，模拟真实分布
常见误区：将标注数据直接全部用于训练，没有预留独立的测试集。这会导致模型在训练数据上表现优异，但在真实产线数据上性能大幅下降（过拟合）。正确做法是：在项目启动时就固定测试集，且测试集不参与任何训练决策。

3.2 分类任务与检测任务

缺陷识别中，分类任务和检测任务解决的是不同层次的问题。分类任务回答"这是什么缺陷"，检测任务回答"缺陷在哪里"。实际项目中，往往需要两者结合。

3.2.1 图像分类

图像分类将整张图像或图像中的一个区域划分为预定义的类别。在缺陷识别中，常见的分类场景包括：

  • 良品/不良品二分类：判断产品是否合格。
  • 缺陷类型多分类：区分划痕、污渍、裂纹、气泡等不同缺陷类型。
  • 严重程度分级：将缺陷分为轻微、中等、严重等级。

分类任务的输出是类别概率分布，通常使用Softmax函数将网络输出转换为概率值。训练时使用交叉熵损失函数。

3.2.2 目标检测

目标检测不仅需要识别缺陷类别，还需要用边界框（Bounding Box）标出缺陷在图像中的位置。主流方法分为两阶段（如Faster R-CNN）和单阶段（如YOLO、SSD）两类。在工业缺陷检测中，YOLO系列因其速度快、精度高而广泛应用。

检测任务的输出：每个检测结果包含四个关键信息——边界框坐标（x, y, w, h）、类别标签、置信度分数。置信度表示模型对该检测结果的把握程度，在后续评估中用于设置阈值。

3.2.3 分类与检测的标注差异

维度 分类任务 检测任务
标注内容 图像级标签 边界框坐标 + 类别
标注工作量 低（每张图一个标签） 高（每个缺陷需画框）
信息粒度 粗粒度 细粒度（位置+类别）
适用场景 缺陷类型判断、良品筛选 缺陷定位、多缺陷共存
标注一致性要求 类别定义清晰即可 边界框需贴合缺陷边缘

3.3 模型评估指标详解

评估指标是衡量模型性能的"标尺"。选择错误的指标，可能导致模型优化方向偏离实际业务需求。在缺陷识别中，最常用的指标包括准确率、精确率、召回率、F1分数和IoU。

3.3.1 混淆矩阵基础

所有分类指标都基于混淆矩阵（Confusion Matrix）计算。对于二分类问题，混淆矩阵包含四个基本元素：

  • TP（True Positive）：实际为正类，预测为正类（正确检出缺陷）。
  • TN（True Negative）：实际为负类，预测为负类（正确识别正常品）。
  • FP（False Positive）：实际为负类，预测为正类（误报，将正常品判为缺陷）。
  • FN（False Negative）：实际为正类，预测为负类（漏检，将缺陷品判为正常）。

3.3.2 核心指标定义

指标 公式 含义 缺陷检测中的意义
准确率 Accuracy (TP+TN)/(TP+TN+FP+FN) 所有样本中预测正确的比例 当正负样本均衡时有效；缺陷样本极少时会产生误导
精确率 Precision TP/(TP+FP) 预测为正类的样本中真实正类的比例 衡量"检出的是否真的是缺陷"，高精确率意味着少误报
召回率 Recall TP/(TP+FN) 真实正类中被正确检出的比例 衡量"缺陷是否被漏掉"，高召回率意味着少漏检
F1分数 2×P×R/(P+R) 精确率与召回率的调和平均 平衡精确率和召回率的综合指标
IoU 交集面积/并集面积 预测框与真实框的重叠程度 衡量检测框定位精度，通常要求IoU>0.5才算正确检测

3.3.3 指标选择的业务逻辑

在缺陷检测项目中，精确率和召回率往往存在矛盾关系。提高精确率（减少误报）通常会降低召回率（增加漏检），反之亦然。具体选择哪个指标作为优化目标，取决于业务场景：

  • 安全关键场景（如航空部件）：漏检（FN）的代价极高，应优先保证召回率。
  • 高成本返工场景：误报（FP）会导致大量正常产品被返工，应优先保证精确率。
  • 均衡场景：使用F1分数作为综合指标。
准确率的陷阱：假设产线缺陷率仅为1%，模型将所有产品都判为正常，准确率仍高达99%。但这个模型毫无用处。因此，在缺陷样本极不均衡的情况下，准确率不能作为主要评估指标，应重点关注召回率和精确率。

3.4 案例拆解：PCB焊点缺陷检测模型评估

某电子制造企业需要检测PCB板上的焊点缺陷（如虚焊、桥连、少锡）。产线共有10,000个焊点样本，其中真实缺陷焊点200个（缺陷率2%）。模型A和模型B的检测结果如下：

模型 检出缺陷数 其中真实缺陷 漏检缺陷 误报数
模型A 180 170 30 10
模型B 220 190 10 30

指标计算：

  • 模型A：精确率=170/180=94.4%，召回率=170/200=85.0%，F1=89.5%
  • 模型B：精确率=190/220=86.4%，召回率=190/200=95.0%，F1=90.5%

分析判断：模型B的召回率显著高于模型A，虽然精确率略低，但F1分数更高。考虑到焊点缺陷可能导致产品功能失效，漏检的代价远高于误报的返工成本，因此选择模型B更合适。后续可通过调整置信度阈值，在精确率和召回率之间寻找更优平衡点。

实操建议：在模型调优阶段，绘制Precision-Recall曲线（PR曲线），观察不同阈值下的性能变化。选择业务可接受的误报率下召回率最高的点作为最终阈值。同时，使用mAP（mean Average Precision）评估检测模型在多个IoU阈值下的综合性能。

3.5 常见误区与总结复盘

在AI缺陷识别项目的实际推进中，以下误区需要特别警惕：

误区一：只看准确率。在缺陷样本极不均衡时，准确率会严重失真。必须结合精确率、召回率、F1分数综合评估。
误区二：忽视IoU阈值的影响。IoU阈值从0.5提高到0.75，mAP会明显下降，但定位精度更高。应根据业务对定位精度的要求选择合适的IoU标准。
误区三：训练集和测试集分布不一致。如果训练数据只包含特定光照条件下的图像，而产线实际环境光照变化大，模型性能会大幅下降。应在数据采集阶段覆盖多样化的真实场景。

3.5.1 评估流程标准化

  1. 固定测试集：在项目开始时预留独立测试集，确保评估结果可比。
  2. 多指标联合评估：同时报告准确率、精确率、召回率、F1、mAP@0.5和mAP@0.75。
  3. 分层评估：按缺陷类型分别计算召回率，找出模型在哪些缺陷上表现薄弱。
  4. 误报分析：对FP样本进行人工复核，判断是标注错误、模型误判还是真实缺陷但类型识别错误。

3.5.2 本章要点总结

核心概念 关键要点 实践提示
监督学习 数据、模型、损失函数三要素 标注质量优先于模型复杂度
分类任务 图像级标签，输出类别概率 适用于缺陷类型判断
检测任务 边界框+类别+置信度 适用于缺陷定位与多缺陷场景
评估指标 准确率、精确率、召回率、F1、IoU 根据业务风险选择优化目标
← 上一章 📖 返回目录 下一章 →