2、工业视频AI基础：摄像头类型、视频流协议（RTSP/GB28181）、图像采集与预处理

工业视频AI系统的性能上限，往往在摄像头选型与视频流接入阶段就已决定。安全帽检测需要看清帽体颜色与反光条，区域入侵检测需要适应逆光与夜间环境，设备状态识别则要求捕捉仪表指针的微小偏转或指示灯的颜色变化。本章从摄像头类型、视频流协议、图像采集与预处理三个层面，构建工业视频AI的工程化基础，帮助学员理解从“看到画面”到“拿到可用数据”的完整链路。

2.1 摄像头类型与选型原则

2.1.1 核心原理：不同场景下的光学与结构差异

工业摄像头按形态可分为枪机（固定式）、球机（云台式）、半球机（吸顶式）、全景/双目摄像头以及热成像摄像头。枪机采用固定镜头，视场角与焦距固定，适合监控通道、出入口等固定视野场景；球机内置步进电机，支持水平0°~360°、垂直-10°~90°的旋转，适合大范围巡检，但PTZ运动会导致画面抖动，影响AI检测稳定性；半球机体积紧凑、防破坏性强，多用于室内；全景摄像头通过多个传感器拼接实现180°或360°无死角覆盖，但边缘畸变严重；热成像摄像头基于红外辐射成像，适合夜间人员检测与设备温度异常预警。

选型时需关注四个关键参数：分辨率（决定小目标检测能力）、帧率（决定运动目标捕捉能力）、传感器尺寸（1/2.7"、1/1.8"等，影响低照度表现）、镜头焦距（2.8mm/4mm/6mm/12mm，决定视场角与监控距离）。例如，安全帽检测要求人脸与帽体在画面中至少占据40×40像素，若监控距离为10米，需选用6mm以上焦距镜头；而区域入侵检测更关注大范围覆盖，宜选用2.8mm广角镜头。

2.1.2 判断方法：从业务需求反推选型参数

选型流程应遵循“业务目标→监控距离→视场角→分辨率→帧率→成本”的决策链。首先明确检测目标的最小像素尺寸（如安全帽需≥30×30像素），然后根据安装高度与监控距离计算所需焦距：焦距 = 传感器靶面宽度 × 工作距离 / 目标视场宽度。例如，使用1/2.7"传感器（靶面宽约5.37mm），在8米距离监控4米宽的通道，所需焦距约为10.7mm，可选用12mm镜头。帧率方面，人员行走需≥10fps，车辆识别需≥25fps，机械臂抓取检测需≥30fps。

2.1.3 案例拆解：某化工厂安全帽检测的摄像头选型

某化工厂需在装卸区部署安全帽检测系统，区域面积约30m×20m，摄像头安装高度6米。初始方案选用4mm广角枪机，实际测试发现：距离摄像头12米处的人员，帽体仅占画面18×18像素，检测置信度低于0.5，漏报率高达23%。分析后确认是焦距不足导致目标过小。重新计算：目标视场宽度需覆盖6米（人员活动范围），工作距离12米，传感器靶面5.37mm，所需焦距≈10.7mm，选用12mm镜头后，帽体像素提升至42×42，漏报率降至2.1%。同时将帧率从15fps提升至25fps，解决了人员快速走动时的拖影问题。该案例说明，摄像头选型错误无法通过算法优化弥补，必须从光学参数源头解决。

2.1.4 常见误区与总结

• 误区一：认为分辨率越高越好。4K摄像头在低照度下噪点显著增加，且解码与推理算力需求翻倍，实际检测效果可能不如1080P。
• 误区二：忽略宽动态范围（WDR）。逆光场景下（如门口背对窗户），普通摄像头会导致人脸过暗，需选择支持120dB以上WDR的型号。
• 误区三：球机开启自动追踪后，画面频繁移动导致AI检测框抖动。建议在AI分析时锁定预置位，或使用球机+枪机联动方案。

2.2 视频流协议：RTSP与GB28181

2.2.1 核心原理：两种协议的定位与差异

RTSP（Real Time Streaming Protocol）是应用层控制协议，用于建立和控制媒体会话，通常搭配RTP/RTCP传输视频数据。其优势在于低延迟（200~500ms）、实现简单，适合单路或少量视频流的直接接入。但RTSP没有统一的设备发现、注册和信令安全机制，跨公网传输时需自行处理NAT穿透。GB28181是中国的国家标准《安全防范视频监控联网系统信息传输、交换、控制技术要求》，定义了设备注册、心跳、实时音视频点播、云台控制、报警事件等完整信令流程，基于SIP协议，支持大规模设备接入与平台级联，适合跨区域、跨运营商的视频监控专网。

在工业AI场景中，两种协议的选择取决于系统架构：若AI服务器与摄像头在同一局域网且路数较少（<50路），RTSP直接拉流即可；若需接入已有视频监控平台（如海康iSecure、大华ICC），或需跨网段、跨地域汇聚视频流，则必须通过GB28181协议将摄像头注册到平台，再由平台输出RTSP/FLV流供AI分析。

2.2.2 操作流程：RTSP拉流与GB28181接入

RTSP拉流流程：① 获取摄像头的RTSP URL，常见格式为rtsp://username:password@ip:554/Streaming/Channels/101（海康）或rtsp://ip:554/live/ch0（大华）；② 使用FFmpeg或OpenCV的VideoCapture进行拉流测试；③ 设置传输协议（TCP更稳定，UDP延迟更低）；④ 若需多路并发，使用线程池或异步IO，避免阻塞。

GB28181接入流程：① 在摄像头Web管理端配置GB28181参数（SIP服务器IP、端口、设备ID、通道ID）；② 在视频平台（如WVP-PRO、LiveGBS）中添加设备，填写设备编号；③ 摄像头主动向平台注册，平台返回200 OK；④ 平台发送INVITE请求，摄像头通过RTP推流；⑤ AI服务从平台拉取RTSP/FLV流。整个过程涉及SIP信令交互，排障时需抓包分析SIP消息。

# FFmpeg拉取RTSP流并转成HLS供AI分析
ffmpeg -rtsp_transport tcp -i "rtsp://admin:12345@192.168.1.64:554/Streaming/Channels/101" \
       -c:v copy -f hls -hls_time 2 -hls_list_size 3 /tmp/live/stream.m3u8

# 使用Python OpenCV拉流
import cv2
cap = cv2.VideoCapture("rtsp://admin:12345@192.168.1.64:554/Streaming/Channels/101", cv2.CAP_FFMPEG)
cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)  # 减少延迟
ret, frame = cap.read()

2.2.3 实战场景：多厂区视频汇聚的协议选型

某集团有3个厂区，每个厂区约200路摄像头，需统一接入总部AI平台进行安全帽与区域入侵分析。若采用RTSP直连，总部服务器需跨公网访问各厂区摄像头，存在NAT穿透困难、带宽不可控、设备地址冲突等问题。实际方案：每个厂区部署一台GB28181网关（如LiveGBS），摄像头通过内网注册到网关，网关再通过专线将视频流转发至总部。总部AI平台通过RTSP拉取网关的流转发地址。该方案将协议转换下沉到边缘，总部只需对接3个网关IP，且网关支持码流自适应（根据总部带宽动态调整分辨率）。实施后，视频接入成功率从RTSP直连的67%提升至99.5%，首帧延迟控制在800ms以内。

2.2.4 常见误区与总结

• 误区一：认为RTSP延迟一定低于GB28181。实际上，GB28181在局域网内延迟可控制在300ms内，而RTSP若使用UDP传输且网络丢包，延迟反而更高。
• 误区二：忽略主码流与子码流的区别。主码流分辨率高（如1080P），适合AI分析；子码流（如D1）用于预览。若AI服务器带宽有限，可拉取子码流进行检测，但需确认小目标是否仍可识别。
• 误区三：不设置心跳与断线重连。工业网络波动频繁，AI拉流程序需实现断线自动重连，并记录断流日志。

2.3 图像采集与预处理

2.3.1 核心原理：从解码到模型输入的标准化流程

摄像头输出的视频流经过网络传输后，AI系统需完成解码、缩放、色彩空间转换、数据增强与归一化等步骤，才能送入深度学习模型。解码环节，H.264/H.265是主流编码格式，H.265相比H.264可节省约50%码率，但解码算力需求更高。工业场景建议使用硬解码（如NVIDIA NVDEC、Intel QSV）以降低CPU占用。缩放环节，需保持宽高比，避免图像拉伸变形导致目标比例失真。色彩空间转换，OpenCV默认使用BGR顺序，而PyTorch/TensorFlow模型通常期望RGB，需进行通道转换。归一化，将像素值从[0,255]映射到模型训练时的分布（如ImageNet的mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225]）。

预处理还包括图像增强：直方图均衡化可改善逆光场景的对比度；伽马校正可调整暗部细节；降噪滤波（如高斯模糊）可减少传感器噪点，但过度平滑会损失边缘信息。对于工业场景，还需考虑ROI区域裁剪——只对画面中的关键区域（如传送带、闸机口）进行推理，减少无效计算。

2.3.2 操作流程：标准预处理Pipeline

1. 解码：使用FFmpeg或GStreamer将H.264/H.265码流解码为YUV420P，再转为BGR/RGB。
2. 缩放：采用双线性插值或LANCZOS插值，将图像缩放到模型输入尺寸（如640×640）。注意保持宽高比，不足部分用灰色填充（letterbox）。
3. 色彩转换：BGR→RGB，或YUV→RGB。
4. 归一化：像素值除以255，再减去均值、除以标准差。
5. 张量变换：将HWC格式转为CHW，并增加Batch维度。
6. 异步处理：使用队列缓存解码后的帧，避免推理阻塞采集。

# 使用OpenCV实现letterbox缩放
import cv2
import numpy as np

def letterbox(img, new_shape=(640, 640), color=(114, 114, 114)):
    shape = img.shape[:2]  # h, w
    r = min(new_shape[0] / shape[0], new_shape[1] / shape[1])
    new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))
    dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]
    dw, dh = dw // 2, dh // 2
    img = cv2.resize(img, new_unpad, interpolation=cv2.INTER_LINEAR)
    top, bottom = dh, dh + (new_shape[0] - new_unpad[1] - dh)
    left, right = dw, dw + (new_shape[1] - new_unpad[0] - dw)
    img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)
    return img

2.3.3 案例拆解：低照度环境下的图像增强

某仓库夜间仅有微弱灯光，摄像头自动开启红外模式，但红外图像为灰度图，且存在大量噪点。初始方案直接使用灰度图训练YOLOv5模型，mAP@0.5仅为0.42。分析发现：红外图像对比度低，且目标边缘模糊。改进措施：① 在预处理阶段使用CLAHE（对比度受限自适应直方图均衡化），将局部对比度提升2.3倍；② 使用双边滤波替代高斯滤波，保留边缘的同时去除噪点；③ 将灰度图复制为三通道，并应用伪彩色映射（如COLORMAP_INFERNO），使模型能利用颜色特征。改进后mAP提升至0.68。该案例表明，预处理策略需根据图像特性动态调整，而非固定使用同一套参数。

2.3.4 常见误区与总结

• 误区一：训练时与推理时的预处理不一致。例如训练时使用letterbox，推理时直接resize，导致目标尺度失真。
• 误区二：忽略帧率波动。当视频源帧率不稳定时，AI推理结果会出现跳变，需在采集端设置帧率控制（如每N帧取一帧）。
• 误区三：过度依赖图像增强。增强操作应模拟真实场景变化，而非随意添加滤镜，否则模型在真实环境中泛化能力下降。