2、环境搭建：Python、OpenCV、PyTorch/TensorFlow Lite、摄像头驱动、舵机控制库的安装与配置

机器人视觉目标检测项目的开发环境搭建，是整个课程中决定后续开发效率与调试体验的关键环节。一个混乱或版本冲突的环境，往往会让初学者在编写第一行检测代码之前就消耗大量精力。本章将围绕“轻量模型部署”这一核心目标，系统讲解从Python基础环境、OpenCV图像处理库、PyTorch/TensorFlow Lite深度学习框架，到摄像头驱动与舵机控制库的完整安装与配置流程。我们将以Ubuntu 20.04/22.04 LTS系统为主要演示平台，同时兼顾Windows 10/11环境下的差异说明，确保你能够在自己的硬件上复现一套稳定、可扩展的机器人视觉开发环境。

上图展示了机器人视觉目标检测项目环境的四层架构。从底层的Python解释器与CUDA加速，到OpenCV与深度学习框架，再到摄像头与舵机的硬件驱动，最终汇聚到目标检测与跟随应用。在后续的安装过程中，我们将严格遵循这一分层逻辑，逐层搭建并验证每一环节的可用性，避免“装完发现摄像头打不开”或“模型能跑但舵机不动”的尴尬局面。

2.1 Python基础环境与虚拟环境配置

核心原理：Python环境管理的核心在于隔离不同项目的依赖。机器人视觉项目往往同时依赖OpenCV、PyTorch等重量级库，这些库对Python版本和底层库（如libgl1、libglib2.0）有严格要求。使用虚拟环境（venv）或Conda环境，可以避免系统全局Python被污染，也能防止多个项目之间的版本冲突。

操作流程：推荐使用Python 3.8至3.11之间的版本，过高或过低都可能遇到预编译轮子缺失的问题。以下是基于Ubuntu系统的推荐安装步骤：

# 1. 更新系统包索引
sudo apt update
sudo apt upgrade -y

# 2. 安装Python 3.10及pip
sudo apt install python3.10 python3.10-venv python3.10-dev -y

# 3. 创建项目虚拟环境
mkdir -p ~/robot_vision && cd ~/robot_vision
python3.10 -m venv venv

# 4. 激活虚拟环境
source venv/bin/activate

# 5. 升级pip并安装基础工具
pip install --upgrade pip setuptools wheel

案例拆解：假设你的系统预装的是Python 3.8，但PyTorch最新版已不再提供3.8的预编译包。此时若强行安装，pip会尝试从源码编译，导致安装时间极长且容易失败。通过创建Python 3.10的虚拟环境，我们可以直接使用官方预编译的wheel包，安装时间从数小时缩短至几分钟。

2.2 OpenCV图像处理库安装与验证

核心原理：OpenCV（Open Source Computer Vision Library）是机器人视觉中最核心的图像处理库。它提供了摄像头读取（VideoCapture）、图像预处理（缩放、色彩空间转换）、特征提取（边缘、角点）以及图像显示（imshow）等全套功能。在轻量模型部署场景中，OpenCV还负责将摄像头帧转换为模型输入所需的张量格式。

安装方法：OpenCV的安装有两种主流方式，各有优劣：

验证与排障：安装完成后，必须验证OpenCV能否正常读取摄像头。以下是一段基础验证代码：

import cv2
print("OpenCV版本:", cv2.__version__)

# 尝试打开默认摄像头（索引0）
cap = cv2.VideoCapture(0)
if not cap.isOpened():
    print("错误：无法打开摄像头，请检查驱动或索引号")
else:
    ret, frame = cap.read()
    if ret:
        print("摄像头读取成功，画面尺寸:", frame.shape)
        cv2.imwrite("test_frame.jpg", frame)
    cap.release()

2.3 PyTorch与TensorFlow Lite安装及模型转换准备

核心原理：PyTorch以其动态图机制和灵活的调试体验，成为训练和验证目标检测模型的首选框架。而TensorFlow Lite（TFLite）则专注于边缘设备推理，通过量化、剪枝等技术将模型压缩到几MB甚至几百KB，适合部署在树莓派、Jetson Nano等算力有限的硬件上。在机器人视觉项目中，常见的做法是：用PyTorch训练/微调模型，然后转换为ONNX或TFLite格式进行部署。

安装流程：PyTorch的安装需根据是否有NVIDIA GPU选择不同命令：

# CPU版本（适用于无GPU或仅做推理）
pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu

# GPU版本（需先安装CUDA 11.8或12.1）
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118

# TensorFlow Lite（用于边缘部署）
pip install tensorflow
# 转换工具（将模型转为.tflite格式）
pip install tensorflow-model-optimization

案例拆解：模型转换的完整链路

假设我们已在PyTorch中训练好一个YOLOv5s模型（约14MB），现在要部署到树莓派4B上。具体步骤如下：

1. 导出ONNX：python export.py --weights yolov5s.pt --include onnx
2. ONNX转TFLite：使用onnx2tf工具或TensorFlow的ONNX转换器，将模型转为TensorFlow SavedModel格式。
3. 量化：使用TensorFlow Lite Converter进行动态范围量化，模型大小从14MB压缩至约4MB，推理速度提升2-3倍。
4. 验证：在PC上使用TFLite Interpreter加载量化后的模型，对比检测精度（mAP）下降是否在可接受范围内（通常<2%）。

2.4 摄像头驱动安装与多摄像头管理

核心原理：在Linux系统中，USB摄像头通常由UVC（USB Video Class）驱动支持，内核模块为uvcvideo。对于树莓派等ARM平台，还可能使用CSI接口的摄像头，此时需要libcamera库。正确识别摄像头设备节点（/dev/video0、/dev/video1）是驱动配置的关键。

操作流程：

# 1. 检查摄像头是否被系统识别
lsusb  # 查看USB设备列表，寻找Camera相关条目
ls /dev/video*  # 查看视频设备节点

# 2. 安装V4L2工具（用于查看摄像头支持的分辨率/格式）
sudo apt install v4l-utils -y
v4l2-ctl --list-devices  # 列出所有摄像头设备
v4l2-ctl -d /dev/video0 --list-formats-ext  # 查看支持的格式和分辨率

# 3. 测试摄像头图像
ffplay /dev/video0  # 或使用 guvcview 图形化工具

多摄像头场景：在机器人视觉中，有时需要同时使用RGB摄像头和深度摄像头（如Intel RealSense）。此时需注意：

• 每个摄像头有独立的设备节点，OpenCV中通过VideoCapture(0)、VideoCapture(1)区分。
• 部分摄像头（如RealSense）需要安装专用SDK（pip install pyrealsense2），不能直接用OpenCV读取深度流。
• 若摄像头插拔后设备节点变化，建议通过/dev/v4l/by-id/或/dev/v4l/by-path/下的符号链接固定设备。

2.5 舵机控制库安装与PWM信号调试

核心原理：舵机（Servo）通过PWM（脉冲宽度调制）信号控制转动角度。标准舵机的控制信号周期为20ms（50Hz），其中高电平时间（脉宽）1ms对应0°，1.5ms对应90°，2ms对应180°。在树莓派或Jetson Nano上，通常使用PCA9685模块（I2C接口）扩展多路PWM输出，或者使用板载PWM引脚直接输出。

安装与配置：以PCA9685为例，安装步骤如下：

# 1. 启用I2C接口（树莓派）
sudo raspi-config  # 选择 Interface Options -> I2C -> Enable

# 2. 安装Python控制库
pip install adafruit-circuitpython-servokit
# 或使用传统库
pip install Adafruit-PCA9685

# 3. 验证I2C设备识别
sudo i2cdetect -y 1  # 应看到0x40地址（PCA9685默认地址）

舵机控制代码示例：

from adafruit_servokit import ServoKit
import time

# 初始化PCA9685，通道数16
kit = ServoKit(channels=16)

# 设置0号通道舵机角度为90°
kit.servo[0].angle = 90
time.sleep(1)

# 设置脉宽范围（校准舵机）
kit.servo[0].set_pulse_width_range(500, 2500)  # 0.5ms~2.5ms

# 平滑转动到0°和180°
for angle in range(0, 181, 10):
    kit.servo[0].angle = angle
    time.sleep(0.05)

案例拆解：舵机抖动与角度偏移的排障

在调试过程中，我们常遇到舵机在目标角度附近来回抖动的问题。某次项目中，云台舵机在设定为90°时持续抖动约±3°。通过排查发现：

解决方案：更换为5V 3A的独立稳压电源为舵机供电，并在代码中加入死区补偿（当目标角度与当前角度差小于2°时不发送控制信号）。最终抖动幅度降至±0.5°以内，满足视觉跟随的精度要求。

2.6 环境验证与常见问题复盘

综合验证流程：完成上述所有安装后，建议运行一个综合测试脚本，验证摄像头→OpenCV→模型推理→舵机控制的完整链路是否通畅。测试脚本应包含以下步骤：

1. 初始化摄像头，读取一帧图像并显示。
2. 使用OpenCV将图像缩放至模型输入尺寸（如320x320）。
3. 加载一个预训练的TFLite模型（如MobileNetV2-SSD），对图像进行推理。
4. 将检测到的目标中心坐标映射为舵机角度（如目标在画面左侧则舵机左转）。
5. 控制舵机转动，并打印实际角度值。

常见问题速查表：