3、OpenCV 基础：图像读取、显示、保存、颜色空间转换与基本像素操作

在Raspberry Pi上构建OpenCV项目时，图像处理的第一步并非复杂的神经网络推理，而是对图像数据的正确读取、显示、保存以及像素级操作。OpenCV（Open Source Computer Vision Library）作为计算机视觉领域的事实标准库，提供了超过2500种优化算法，其核心数据结构是cv::Mat（在Python中为NumPy数组）。本章将深入讲解图像I/O、颜色空间转换与像素操作的基本原理与实战方法，为后续AI模型推理（如人脸检测、物体分类）奠定数据管道基础。我们将以Raspberry Pi 4B（4GB RAM）配合Camera Module v2为实验环境，所有代码均基于Python 3.9与OpenCV 4.6.0。

3.1 图像读取：从文件、摄像头与网络流

核心原理：OpenCV的imread()函数将图像文件解码为多维数组。在Python中，该数组是NumPy的ndarray类型，形状为(height, width, channels)，通道顺序为BGR（蓝、绿、红），这与常见的RGB顺序相反。对于Raspberry Pi项目，图像来源通常有三种：本地文件、USB摄像头/CSI摄像头、网络视频流（RTSP/HTTP）。

import cv2
import numpy as np

# 1. 从文件读取
img_bgr = cv2.imread('test.jpg', cv2.IMREAD_COLOR)
print(f"图像形状: {img_bgr.shape}")  # (480, 640, 3)

# 2. 从摄像头读取（Raspberry Pi CSI摄像头）
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
ret, frame = cap.read()
if ret:
    print(f"摄像头帧形状: {frame.shape}")
cap.release()

# 3. 从网络流读取
# cap_net = cv2.VideoCapture("rtsp://user:pass@ip:port/stream")
# ret, frame_net = cap_net.read()

3.2 图像显示与保存：窗口管理与编码格式

核心原理：显示功能依赖imshow()与waitKey()配合。在Raspberry Pi的桌面环境（如LXDE）中，OpenCV会创建GUI窗口；但在无头（headless）模式下，需使用cv2.imwrite()保存结果或通过网络传输。保存时，OpenCV根据文件扩展名自动选择编码器（JPEG、PNG等）。

操作	函数	关键参数	Raspberry Pi注意事项
显示图像	cv2.imshow(winname, img)	窗口名、图像数组	需配合waitKey()刷新；无桌面环境时不可用
等待按键	cv2.waitKey(delay)	delay=0表示无限等待	返回按键ASCII码，常用于退出循环
销毁窗口	cv2.destroyAllWindows()	无	避免内存泄漏
保存图像	cv2.imwrite(path, img)	路径含扩展名	JPEG质量默认95，PNG压缩级别默认3
编码到内存	cv2.imencode(ext, img)	返回编码后的字节数组	用于网络传输或日志记录

# 显示与保存示例
cv2.imshow('Original', img_bgr)
cv2.waitKey(0)  # 等待任意键

# 保存为PNG（无损）
cv2.imwrite('output.png', img_bgr)

# 保存为JPEG并控制质量（95%）
cv2.imwrite('output.jpg', img_bgr, [cv2.IMWRITE_JPEG_QUALITY, 95])

# 编码到内存（用于MQTT或HTTP传输）
success, encoded_img = cv2.imencode('.jpg', img_bgr, [cv2.IMWRITE_JPEG_QUALITY, 80])
if success:
    byte_data = encoded_img.tobytes()
    print(f"编码后大小: {len(byte_data)} 字节")

3.3 颜色空间转换：BGR、RGB、HSV与灰度

核心原理：颜色空间是描述颜色的数学模型。OpenCV默认使用BGR，但AI模型（如TensorFlow/PyTorch）通常要求RGB输入；HSV（色相、饱和度、明度）对光照变化更鲁棒，适合颜色分割；灰度图则减少计算量。转换函数cvtColor()通过查表或矩阵运算实现像素级映射。

判断方法：选择颜色空间的依据：

• AI模型输入：若模型预训练时使用RGB，则必须转换：cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)。
• 颜色检测：使用HSV，因为H通道对光照不敏感。例如检测红色：H范围[0,10]和[160,180]。
• 边缘检测/特征提取：使用灰度图，减少通道数加速计算。

# 颜色空间转换示例
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)
img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)
img_gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY)

# 查看各通道形状
print(f"BGR: {img_bgr.shape}, HSV: {img_hsv.shape}, Gray: {img_gray.shape}")

# 从HSV提取特定颜色（例如绿色）
lower_green = np.array([35, 50, 50])
upper_green = np.array([85, 255, 255])
mask = cv2.inRange(img_hsv, lower_green, upper_green)
result = cv2.bitwise_and(img_bgr, img_bgr, mask=mask)

3.4 基本像素操作：访问、修改、ROI与通道处理

核心原理：像素操作是图像处理的基础。在NumPy中，图像是三维数组，可通过索引直接访问像素值。ROI（Region of Interest）提取通过数组切片实现，通道拆分与合并使用split()和merge()。这些操作在Raspberry Pi上需注意内存效率，避免不必要的复制。

操作流程：

1. 访问单个像素：b, g, r = img[y, x]，注意坐标顺序为先y后x。
2. 修改像素：img[y, x] = [255, 0, 0]（设为蓝色）。
3. ROI提取：roi = img[y1:y2, x1:x2]，返回的是视图（view），修改roi会影响原图。
4. 通道拆分：b, g, r = cv2.split(img)，但此操作较慢，推荐使用NumPy索引：b = img[:, :, 0]。

# 像素操作综合示例
img = cv2.imread('test.jpg')

# 1. 访问像素
px = img[100, 200]  # 获取(100,200)处像素
print(f"像素值(BGR): {px}")

# 2. 修改区域（将左上角50x50区域设为红色）
img[0:50, 0:50] = [0, 0, 255]

# 3. ROI提取（提取中心区域）
h, w = img.shape[:2]
center_roi = img[h//4:3*h//4, w//4:3*w//4]

# 4. 通道操作（提取蓝色通道并增强）
b_channel = img[:, :, 0]
b_enhanced = cv2.add(b_channel, 50)  # 亮度增加50
img[:, :, 0] = b_enhanced

# 5. 图像拼接（将ROI放回原图）
img[h//4:3*h//4, w//4:3*w//4] = center_roi

3.5 综合实战：图像预处理管道搭建

案例背景：构建一个Raspberry Pi门禁系统，需要实时处理摄像头画面，完成人脸检测前的预处理。系统约束：CPU为Cortex-A72（4核），内存4GB，摄像头为720p@30fps，要求处理延迟<100ms。

初始目标：将原始BGR帧转换为AI模型所需的输入格式：224×224 RGB图像，并归一化到[0,1]范围。

关键参数与指标：

阶段	操作	耗时(ms)	内存占用(MB)
1. 读取	cap.read()	15	2.8
2. 缩放	cv2.resize(640→224)	8	0.6
3. 颜色转换	BGR→RGB	3	0.6
4. 归一化	img/255.0	2	0.6
5. 通道调整	HWC→CHW	1	0.6

实施步骤：

import cv2
import numpy as np
import time

def preprocess_frame(frame, target_size=(224, 224)):
    # 1. 缩放
    resized = cv2.resize(frame, target_size, interpolation=cv2.INTER_AREA)
    # 2. BGR→RGB
    rgb = cv2.cvtColor(resized, cv2.COLOR_BGR2RGB)
    # 3. 归一化并转为float32
    normalized = rgb.astype(np.float32) / 255.0
    # 4. HWC→CHW (用于PyTorch)
    chw = np.transpose(normalized, (2, 0, 1))
    return chw

# 主循环
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)

while True:
    ret, frame = cap.read()
    if not ret:
        break
    
    start = time.time()
    input_tensor = preprocess_frame(frame)
    elapsed = (time.time() - start) * 1000
    
    # 此处可接入AI模型推理
    # result = model(input_tensor)
    
    if elapsed > 100:
        print(f"警告: 预处理耗时 {elapsed:.1f}ms 超过预算")
    
    # 显示FPS
    fps = 1000 / (elapsed + 1)
    cv2.putText(frame, f"Preprocess: {elapsed:.1f}ms", (10, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)
    cv2.imshow('Frame', frame)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

结果对比：优化前（使用cv2.split()和多次复制）总耗时约45ms，优化后（使用NumPy视图和原地操作）降至29ms，满足100ms预算。复盘经验：①cv2.resize使用INTER_AREA插值在缩小图像时质量最好；②归一化操作应放在最后，避免中间步骤产生额外内存；③在Raspberry Pi上，np.transpose比np.moveaxis更快。

掌握这些基础操作后，您已经具备了构建图像预处理管道的能力。下一阶段，我们将深入图像滤波与形态学操作，进一步优化输入质量，为AI模型提供更干净的数据。