2. 工业视觉基础
工业视觉与消费级计算机视觉的最大差异在于其“物理约束”与“确定性要求”。在产线上，一个视觉模型不仅要回答“图像里有什么”，更要在规定节拍内、在有限算力上、在光照与震动干扰下，给出可重复、可追溯、可量化的判断结果。本章从三类典型任务出发，剖析其数学本质与工程差异，进而引出模型部署的核心矛盾——精度、时延、吞吐与功耗的博弈，最后阐明边缘计算为何成为工业视觉的必然载体。
上图展示了工业视觉从任务定义到部署约束的整体逻辑链。检测、分割、分类三类任务在输出粒度、计算复杂度和适用场景上差异显著，而部署挑战与边缘计算需求则构成了模型转换时必须考虑的“物理边界”。下面逐一展开。
2.1 三类典型工业视觉任务的数学本质与工程差异
2.1.1 检测任务：从“有没有”到“在哪里”
工业检测（如PCB焊点缺陷检测、工件表面划痕定位）要求模型输出目标的边界框坐标与类别标签。其数学本质是回归 + 分类的联合优化：回归分支预测框的四个偏移量（x, y, w, h），分类分支预测框内目标的类别概率。工业场景中，检测任务往往面临小目标（如芯片引脚裂纹）、密集排列（如药板泡罩）、高宽比极端（如线束）等挑战。
与通用目标检测（COCO等数据集）不同，工业检测更关注重复精度而非精度。例如，同一型号的轴承滚子，检测系统在1000次运行中，对同一缺陷的定位偏差应小于±0.1mm。这意味着模型不仅需要准确，还需要在光照波动、震动等干扰下保持输出稳定。
2.1.2 分割任务：像素级决策的精度追求
分割任务将每个像素分类到特定类别，输出与输入同分辨率的掩码图。工业场景中，分割常用于精密测量（如齿轮齿形轮廓提取）、缺陷面积量化（如涂层气泡占比）和复杂背景下的目标提取（如反光金属表面的字符）。其数学本质是逐像素分类，通常采用编码器-解码器结构（如U-Net、DeepLabV3+）。
工业分割的独特挑战在于类别不平衡：缺陷像素往往只占整幅图像的0.1%~1%，而背景像素占绝大多数。直接使用交叉熵损失会导致模型偏向预测背景。实践中常采用Focal Loss、Dice Loss或边界感知损失来缓解。此外，工业分割对边缘精度要求极高——测量任务中，边缘偏移1个像素可能意味着0.05mm的尺寸误差。
2.1.3 分类任务：最基础但不可轻视
分类任务输出整幅图像的类别标签，常用于来料分拣（如不同型号的螺丝）、表面粗糙度等级判定和装配完整性检查。其数学本质是条件概率估计 P(y|x)，通过Softmax层输出各类别概率。虽然结构最简单，但工业分类任务往往面临类间相似度高（如不同热处理状态下的金属色泽差异极小）和类内差异大（如同一型号产品因批次不同颜色有偏差）的问题。
| 维度 | 检测 | 分割 | 分类 |
|---|---|---|---|
| 输出粒度 | 边界框 + 类别 | 像素级掩码 | 整图标签 |
| 计算复杂度 | 中 | 高 | 低 |
| 典型网络 | YOLO、Faster R-CNN | U-Net、DeepLabV3+ | ResNet、MobileNet |
| 工业应用 | 缺陷定位、目标计数 | 尺寸测量、缺陷面积 | 良品/不良品分拣 |
| 部署难点 | NMS后处理耗时 | 高分辨率特征图内存占用 | 过拟合风险 |
| 精度指标 | mAP、IoU | mIoU、Dice | Accuracy、F1 |
2.2 模型部署的核心挑战：精度、时延与算力的三角博弈
2.2.1 精度损失：从FP32到INT8的代价
PyTorch模型默认使用FP32精度，而边缘设备（如NVIDIA Jetson、瑞芯微RK3588、寒武纪MLU）为了提升吞吐量，常要求INT8量化。量化过程将权重和激活从32位浮点映射到8位整数，理论上可减少75%的内存占用并提升2~4倍推理速度。然而，量化会引入信息损失，尤其对以下结构敏感：
- BatchNorm层：量化时需要将BN层折叠到卷积层中，否则会引入额外误差。
- 残差连接：加法操作在量化后可能产生溢出，需要特殊处理。
- 小数值权重：当权重分布集中在0附近时，量化步长过大导致精度骤降。
实践中，量化感知训练（QAT）比训练后量化（PTQ）效果更好，但需要重新训练模型并准备带标签数据。对于工业场景，如果产线数据难以获取，PTQ配合校准数据集（通常500~1000张代表性图像）是更务实的选择。
2.2.2 时延预算：节拍时间决定一切
工业产线的节拍时间（Takt Time）是部署方案的硬约束。例如，某电子元件装配线节拍为2秒/件，视觉检测必须在1.5秒内完成图像采集、推理和结果输出，剩余0.5秒留给PLC通信和机械臂动作。这意味着模型推理时延必须控制在毫秒级（通常50~200ms），且最差情况时延（而非平均时延）必须满足要求。
影响时延的因素包括：模型结构（深度、宽度）、输入分辨率、批处理大小、硬件算力、内存带宽以及后处理（如NMS）耗时。一个常见误区是只优化模型FLOPs而忽略内存访问成本。例如，1x1卷积虽然FLOPs低，但需要频繁读取特征图，在带宽受限的边缘设备上反而更慢。
2.2.3 算子支持：ONNX的“最后一公里”问题
PyTorch模型导出为ONNX时，并非所有算子都能被边缘引擎直接支持。常见问题包括：
- 自定义算子：如Faster R-CNN中的RoiAlign，在ONNX中可能被拆分为多个基础算子，导致效率下降。
- 动态尺寸：ONNX默认静态shape，而工业场景中图像尺寸可能因相机分辨率变化而不同。
- 控制流：if/else、循环等动态结构在ONNX中需要转换为静态图，否则无法导出。
解决思路是算子融合（如将Conv+BN+ReLU融合为单一算子）和结构重参数化（如将多分支结构在推理时折叠为单路径）。这些优化通常在ONNX Runtime或TensorRT中自动完成，但需要开发者理解底层机制以排查问题。
2.3 边缘计算需求：为什么工业视觉必须走向边缘
2.3.1 实时性与确定性：云端推理的致命短板
云端推理依赖网络传输，即使5G网络时延低至10ms，但加上图像上传（假设2MB图像，带宽100Mbps，需160ms）和结果回传，总时延已超过200ms。而工业产线要求确定性时延——即每次推理时间波动极小（标准差<5ms）。网络抖动、服务器负载波动都会破坏这种确定性。边缘计算将推理放在相机旁或产线工位，图像数据通过GigE或USB3.0直连，时延可控制在50ms以内且高度稳定。
2.3.2 数据本地化与带宽节省
工业数据往往涉及产品设计图纸、工艺参数等商业机密。将图像上传云端意味着数据出境风险，且需要满足GDPR或《数据安全法》等合规要求。边缘计算实现数据不出厂，只将推理结果（如OK/NG、缺陷坐标）上传MES系统，带宽占用从每帧2MB降至每帧几十字节。以一条日产10万件的产线为例，每天可节省约200GB的传输量。
2.3.3 环境适应性与长期稳定性
工业现场环境恶劣：温度可达50℃以上、湿度高、存在油污和震动。边缘计算设备（如工业级IPC、嵌入式AI模组）通常采用无风扇设计、宽温元器件和加固外壳，MTBF（平均无故障时间）要求超过5万小时。相比之下，通用服务器难以适应这种环境。此外，边缘设备支持断网续跑——即使工厂网络中断，视觉系统仍能独立运行，避免产线停摆。
2.4 实战案例：某汽车零部件厂的外观检测系统部署
2.4.1 背景与约束
某汽车零部件供应商需要检测刹车盘表面的铸造缺陷（气孔、砂眼、裂纹）。产线节拍为3秒/件，相机分辨率为2448×2048（500万像素），检测精度要求缺陷最小尺寸≥0.5mm。原方案采用工控机+GPU（GTX 1080）推理，但存在两个痛点：一是GPU功耗高（180W）导致机柜散热压力大；二是Windows系统频繁更新导致产线停机。
2.4.2 初始方案与问题
初始方案使用PyTorch训练的Faster R-CNN（ResNet-50骨干），在GTX 1080上推理时延为120ms，满足节拍要求。但迁移到边缘设备时，发现两个问题：
- Jetson Xavier NX（15W功耗）上，FP16推理时延为280ms，超出预算。
- 导出ONNX时，RoiAlign算子不被TensorRT支持，导致转换失败。
2.4.3 分析与优化过程
团队进行了三步优化：
- 模型替换：将Faster R-CNN替换为YOLOv5s（CSPDarknet骨干），检测头改为解耦头，避免RoiAlign算子。YOLOv5s在Jetson上FP16推理时延为85ms。
- 输入分辨率裁剪：将图像从2448×2048缩放至1280×1024，缺陷最小尺寸仍可检测（0.5mm对应约4像素），时延降至45ms。
- INT8量化：使用500张产线实拍图像作为校准集，PTQ量化后时延进一步降至22ms，mAP从0.93降至0.89（仍满足客户要求≥0.85）。
2.4.4 结果与复盘
| 方案 | 时延(ms) | 功耗(W) | mAP | 稳定性 |
|---|---|---|---|---|
| GTX 1080 + FP32 | 120 | 180 | 0.93 | Windows更新风险 |
| Jetson + FP16 | 85 | 15 | 0.92 | Linux稳定 |
| Jetson + INT8 | 22 | 15 | 0.89 | Linux稳定 |
最终方案采用Jetson Xavier NX + INT8量化，功耗降低92%，时延缩短82%，且系统连续运行3个月无故障。复盘经验：模型选型应优先考虑部署友好性（算子兼容、内存占用），而非单纯追求精度；量化校准集必须覆盖产线实际工况（不同光照、不同批次产品），否则精度会意外下降。
2.5 常见误区与总结复盘
2.5.1 误区一：追求“最先进”模型
工业场景中，数据量通常有限（几千到几万张），且类别固定。使用EfficientNetV2或Swin Transformer等大模型容易过拟合，且部署时延难以满足。更务实的做法是选择轻量级模型（如MobileNetV3、YOLOv5s）并配合数据增强。
2.5.2 误区二：忽略后处理耗时
检测模型的NMS（非极大值抑制）在CPU上运行可能耗时20~50ms，占整体时延的20%以上。优化方法包括：使用Fast NMS（如Torchvision的batched_nms）、降低候选框数量、或将NMS移植到GPU/NPU。分割模型的argmax操作在输出分辨率高时也需优化。
2.5.3 误区三：量化后不验证
INT8量化后，模型精度可能在某些类别上下降明显（如小目标、低对比度缺陷）。必须逐类别检查精度变化，而非只看整体mAP。如果某类缺陷精度下降超过5%，应将该类别加入校准集或对该层使用混合精度（部分层保持FP16）。
2.5.4 总结：模型转换的工程思维
模型转换不是简单的格式转换，而是面向硬件特性的再优化。核心流程为：PyTorch训练 → ONNX导出 → 算子检查与替换 → 硬件适配（量化/剪枝） → 端到端验证（精度+时延+稳定性）。每一步都需要量化指标和回退方案。建议团队建立模型部署清单，包含算子兼容性、内存峰值、最差时延、功耗等检查项，确保从实验室到产线的平滑过渡。