1. 课程导入
欢迎进入《ROS2机器人视觉AI部署》系列课程的第一章。在正式开始摄像头话题、推理节点与结果发布的实操之前，我们有必要先建立一张完整的“认知地图”。很多初学者容易陷入一个误区：拿到一个YOLO模型就急着跑推理，却忽略了机器人系统是一个需要多节点协同、数据流闭环的复杂工程。本章将帮助你明确学习目标、判断自己是否适合本课程，并从宏观层面拆解ROS2与视觉AI结合时的核心架构与数据流向。这张地图一旦在脑中成形，后续所有章节的代码与配置都将变得有据可依。
1.1 学习目标：从“能跑通”到“能部署”
本课程的核心目标不是让你“跑通一个YOLO demo”，而是帮助你建立一套完整的、可复用的、面向真实机器人场景的视觉AI部署能力。我们将围绕三个核心环节展开：摄像头话题的获取与处理、推理节点的设计与实现、结果的发布与下游消费。完成本课程后，你将能够独立完成从“摄像头采集”到“机器人执行动作”的完整链路搭建。
| 能力维度 | 入门水平（能跑通） | 本课程目标（能部署） |
|---|---|---|
| 摄像头接入 | 使用usb_cam发布图像话题 | 理解图像话题的时序、分辨率、编码格式，并能处理摄像头掉线、帧率不稳等异常 |
| 推理节点 | 调用现成Python脚本加载模型 | 掌握ROS2节点生命周期、参数服务器、模型加载与推理的异步处理，支持GPU/CPU切换 |
| 结果发布 | 打印检测框坐标 | 发布自定义消息（如VisionDetections），包含类别、置信度、框坐标、时间戳，并兼容RViz2可视化 |
| 系统集成 | 单节点运行 | 多节点协同、QoS策略配置、话题重映射、launch文件统一启动 |
1.2 适用人群：你需要具备哪些基础？
本课程面向具备一定ROS2基础、希望深入视觉AI部署的开发者。如果你是完全的ROS2新手，建议先补充ROS2的基础概念（节点、话题、服务、参数）。以下是本课程的目标学员画像：
- 机器人方向的研究生或工程师：需要将视觉感知能力集成到机器人系统中，例如目标抓取、导航避障、人体跟随等。
- AI算法工程师：熟悉模型训练，但对ROS2的工程化部署不熟悉，希望将模型封装为可复用的ROS2节点。
- 竞赛/项目开发者：正在参加RoboMaster、ROS竞赛或实际项目，需要快速搭建视觉处理链路。
- 自动驾驶/移动机器人爱好者：希望在自己的硬件平台上实现实时目标检测与跟踪。
在开始本课程之前，建议你确认自己已掌握以下技能：
- Linux基础命令（cd、ls、vim、chmod等），能够独立安装软件包。
- Python或C++的基本编程能力，能够阅读和修改简单的脚本。
- ROS2的基本概念：节点（Node）、话题（Topic）、消息（Message）、工作空间（Workspace）的创建与编译。
- 了解深度学习的基本推理流程（输入张量 → 前向传播 → 输出张量），不要求会训练模型。
1.3 ROS2与视觉AI结合的整体架构
在机器人系统中，视觉AI不是孤立的“模型推理”，而是整个感知-决策-执行闭环中的一环。理解这个闭环的架构，是进行后续开发的前提。我们将架构分为三个层次：感知层、决策/处理层、执行/反馈层。
1.3.1 感知层：从物理世界到数字信号
感知层的核心任务是将摄像头采集的物理光信号转换为ROS2话题中的数字图像消息。这一层涉及硬件选型（USB摄像头、MIPI摄像头、GMSL工业相机）、驱动配置（v4l2、libcamera）、以及图像格式转换（YUV422 → RGB888）。在ROS2中，我们通常使用usb_cam或libcamera_ros等驱动节点，将原始图像发布为sensor_msgs/msg/Image话题。
1.3.2 决策/处理层：推理与语义提取
这一层是视觉AI的核心。我们编写推理节点，订阅图像话题，通过深度学习模型（如YOLOv8、ResNet）进行前向推理，得到检测框、类别、置信度等结构化信息。关键点在于：推理节点必须与图像话题的发布频率匹配。如果摄像头输出30FPS，而推理速度只有10FPS，就需要考虑丢帧策略或异步推理。推理结果通常以自定义消息格式发布，例如vision_msgs/msg/Detection2DArray或自定义的VisionDetections。
1.3.3 执行/反馈层：从语义到动作
下游节点（如导航模块、机械臂控制器）订阅推理结果，将其转换为具体的控制指令。例如，检测到目标物体后，发布cmd_vel控制底盘移动；或者将目标坐标转换为机械臂的抓取位姿。同时，系统需要将处理状态反馈给操作员（通过RViz2可视化或Web面板），形成完整的闭环。
| 层次 | 典型节点 | 消息类型 | 关键参数 |
|---|---|---|---|
| 感知层 | usb_cam、libcamera_ros | sensor_msgs/Image | 图像宽度、高度、编码格式、帧率 |
| 处理层 | yolo_detector、resnet_classifier | vision_msgs/Detection2DArray | 模型路径、置信度阈值、设备（GPU/CPU） |
| 执行层 | nav_controller、arm_planner | geometry_msgs/Twist、trajectory_msgs | 最大速度、安全距离、执行频率 |
1.4 案例拆解：一个移动机器人“跟随目标”的完整链路
为了让你更直观地理解上述架构，我们来看一个具体的实战场景：移动机器人通过摄像头识别并跟随一个红色球体。这个案例虽然简单，但涵盖了视觉AI部署的所有核心环节。
背景与约束：机器人平台为JetBot（NVIDIA Jetson Nano），搭载USB广角摄像头，运行Ubuntu 20.04 + ROS2 Foxy。目标是在室内环境下，机器人能够实时检测红色球体并保持约50cm的距离跟随。
初始现象与目标：最初，我们只有一个训练好的颜色分割模型（OpenCV HSV阈值），但无法直接与ROS2通信。目标是将该模型封装为ROS2节点，并实现“检测 → 决策 → 运动”的闭环。
关键输入数据与参数：
- 摄像头话题：
/camera/image_raw，分辨率640x480，帧率30FPS。 - 推理节点：订阅图像，输出球心坐标（x, y）和半径（r）。
- 控制节点：订阅球心坐标，计算与图像中心的偏差，发布
cmd_vel。
分析判断过程：我们发现，如果推理节点直接订阅30FPS的图像，CPU占用率会过高（Jetson Nano算力有限）。因此，我们采用“节流”策略：在推理节点中设置rclcpp::WallRate，将处理频率限制在15FPS。同时，为了减少图像传输延迟，我们将图像从640x480缩放为320x240后再进行推理。
实际操作步骤：
- 启动摄像头驱动：
ros2 run usb_cam usb_cam_node_exe --ros-args -p video_device:=/dev/video0 - 编写推理节点
ball_detector.py，订阅/camera/image_raw，使用OpenCV进行HSV阈值分割，发布/ball/position（自定义消息，包含x, y, r）。 - 编写控制节点
follower.py，订阅/ball/position，通过PID控制器计算线速度和角速度，发布到/cmd_vel。 - 使用
ros2 launch一次性启动所有节点。
结果对比与复盘：优化前，系统延迟约200ms，机器人反应迟钝；优化后（缩放+降频），延迟降至80ms，跟随平稳。复盘经验：视觉AI部署的瓶颈往往不在模型精度，而在系统吞吐量。合理降低分辨率、控制推理频率，是嵌入式平台上的关键调优手段。
rclcpp::QoS设置队列深度来控制延迟。
1.5 常见误区与总结复盘
在课程开始之初，我们有必要澄清几个常见误区，避免你在后续学习中走弯路。
| 误区 | 正确理解 |
|---|---|
| “模型精度越高越好” | 在机器人场景中，延迟和稳定性往往比精度更重要。一个99%精度的模型如果推理耗时1秒，无法用于实时控制。 |
| “话题消息类型随便用” | 消息类型是节点间通信的“契约”。使用标准类型（如sensor_msgs）可以复用RViz2等工具，自定义类型需谨慎设计。 |
| “推理节点越简单越好” | 推理节点需要处理图像缓冲、模型加载、结果后处理、异常恢复等，是一个完整的工程模块，而非简单的脚本。 |
| “摄像头话题只要发布就行” | 必须关注话题的时间戳和帧率。时间戳不同步会导致下游融合算法出错。 |
总结：本章我们明确了课程的学习目标——从“能跑通”到“能部署”；确认了适用人群——需要具备ROS2和Python基础；并建立了ROS2与视觉AI结合的三层架构模型。这张架构图将贯穿整个课程：后续章节会逐一深入感知层（摄像头驱动与图像处理）、处理层（推理节点设计与优化）、执行层（结果发布与下游消费）。请务必在动手写代码之前，先理解你正在构建的节点在整个数据流中的位置。