3、摄像头与图像采集：CSI/USB摄像头选型、picamera库使用、OpenCV图像读取、分辨率与帧率设置

在Raspberry Pi机器人视觉系统中，摄像头是感知外界环境的“眼睛”，而图像采集则是整个视觉处理管线的起点。无论是目标跟踪、避障还是舵机控制，其决策质量都直接依赖于采集到的图像质量、传输延迟与帧率稳定性。本章将系统讲解CSI与USB摄像头的选型差异、picamera库与OpenCV的读取方式，以及分辨率与帧率的匹配策略，帮助你在实际机器人项目中构建高效、稳定的视觉输入链路。

3.1 摄像头选型：CSI与USB的工程权衡

Raspberry Pi支持两类主流摄像头接口：CSI（Camera Serial Interface）和USB。CSI摄像头通过板载的MIPI CSI-2接口直接连接，而USB摄像头则通过USB总线传输数据。两者在延迟、带宽、易用性和成本上存在显著差异，选型需根据机器人任务的具体约束来决定。

对于舵机控制这类需要快速响应的任务，CSI摄像头是首选，因为其低延迟能减少“看到”到“动作”之间的时间差。而如果机器人需要同时使用多个摄像头（如双目视觉），USB摄像头在扩展性上更有优势，但需注意USB总线的带宽分配。

3.2 picamera2库：CSI摄像头的标准操作

picamera2是Raspberry Pi官方为CSI摄像头提供的Python库，取代了已废弃的picamera。它基于libcamera框架，提供了更现代的API和更好的性能。使用picamera2时，需要先初始化摄像头对象，然后配置分辨率、帧率、格式等参数，最后启动预览或捕获。

from picamera2 import Picamera2
import cv2
import numpy as np

# 初始化摄像头
picam2 = Picamera2()
# 配置采集参数：分辨率、帧率、像素格式
config = picam2.create_preview_configuration(
    main={"size": (640, 480), "format": "RGB888"},
    controls={"FrameRate": 30}
)
picam2.configure(config)
picam2.start()

# 捕获一帧图像并转换为OpenCV格式
frame = picam2.capture_array()
# 注意：picamera2返回的数组是RGB顺序，OpenCV使用BGR，需转换
frame_bgr = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)

# 显示或处理
cv2.imshow("CSI Camera", frame_bgr)
cv2.waitKey(1)

# 停止并释放
picam2.stop()

关键点在于：create_preview_configuration用于预览模式，若需要更高分辨率或不同格式，可使用create_still_configuration。此外，capture_array()返回的是numpy数组，可直接用于OpenCV处理，但必须注意颜色通道顺序的转换。

3.3 OpenCV读取USB摄像头与通用配置

OpenCV的VideoCapture类支持通过V4L2后端读取USB摄像头，也支持部分CSI摄像头（如果驱动兼容）。其优势在于代码简洁、跨平台，且与后续图像处理函数无缝衔接。但需要注意，OpenCV默认使用BGR颜色空间，且对摄像头属性的设置（如分辨率、帧率）需要通过CAP_PROP_*参数完成。

import cv2

# 打开USB摄像头（设备索引0）
cap = cv2.VideoCapture(0, cv2.CAP_V4L2)
if not cap.isOpened():
    print("无法打开摄像头")
    exit()

# 设置分辨率和帧率
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
cap.set(cv2.CAP_PROP_FPS, 30)

# 读取并显示
while True:
    ret, frame = cap.read()
    if not ret:
        break
    cv2.imshow("USB Camera", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

使用cap.set()设置参数时，摄像头驱动可能不支持某些值，此时cap.get()返回的实际值会与设定值不同。因此，在正式使用前，应读取并打印实际生效的参数，避免因参数不匹配导致采集异常。

3.4 分辨率与帧率设置：平衡质量与性能

分辨率决定了图像的细节量，帧率决定了时间分辨率。两者共同影响数据量、处理延迟和CPU占用。对于机器人视觉，并非分辨率越高越好，而是需要根据任务需求找到平衡点。

• 目标跟踪（如小球跟踪）：需要较高的帧率（≥30fps）来保证运动轨迹的连续性，分辨率可适当降低（如320×240或640×480），以减少处理延迟。
• 避障（如检测障碍物）：对帧率要求中等（15-30fps），分辨率可稍高（如640×480），以便识别更小的物体。
• 舵机控制（如云台跟踪）：需要极低的延迟（<50ms），建议使用CSI摄像头，分辨率设为320×240，帧率设为60fps（如果支持）。

一个实用的调优方法是：先以最低分辨率（如320×240）运行，测量处理耗时，然后逐步提高分辨率，直到处理耗时接近帧间隔（如30fps对应33ms）。这样既能保证实时性，又能最大化图像质量。

3.5 常见误区与总结复盘

在实际项目中，以下误区经常导致视觉系统性能不佳：

1. 盲目追求高分辨率：高分辨率意味着更大的数据量和更长的处理时间，在嵌入式平台上往往得不偿失。
2. 忽略颜色通道转换：picamera2返回RGB，OpenCV使用BGR，忘记转换会导致颜色识别错误。
3. 不检查实际帧率：设置30fps后，实际可能只有20fps，导致运动目标出现拖影或跟踪丢失。
4. 在循环中频繁创建和销毁资源：如每次循环都重新打开摄像头，会极大降低效率。

总结本章，摄像头选型应优先考虑CSI以降低延迟，采集库选择picamera2（CSI）或OpenCV（USB），分辨率与帧率需根据任务动态调整。建议在项目初期就建立一套“参数-性能”测试流程，记录不同配置下的帧率、延迟和CPU占用，形成数据驱动的调优依据。