VIP12
本课程属于：140-ROS2机器人AI与边缘感知 AI智能与边缘计算工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

1. ROS2机器人视觉AI部署：摄像头话题、推理节点和结果发布

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · ROS2与视觉AI结合的整体架构
课程导入学习目标
02
ROS2基础回顾
节点 · 话题 · 服务
ROS2基础回顾
03
开发环境搭建
安装ROS2 · 配置工作空间 · 安装摄像头驱动与推理依赖（如Open…
开发环境搭建ROS2
04
摄像头硬件与驱动
常见USB摄像头 · CSI摄像头 · 深度相机的选型与ROS2驱动包（如u…
摄像头硬件驱动
05
摄像头话题发布
使用usb_cam或自定义节点发布图… · 理解图像消息类型sensor_msg…
摄像头话题发布usb
06
图像话题可视化
使用rqt_image_view · RViz2或web_video_se…
图像话题可视化rqt
07
图像消息与转换
ROS2图像消息与OpenCV Ma… · 以及图像压缩与传输优化
图像消息转换
08
推理节点设计
推理节点的功能划分 · 输入输出话题定义 · 节点生命周期管理
推理节点设计推理节点的功能划…
09
视觉AI模型选择
目标检测（YOLO系列） · 分类 · 分割等模型在机器人场景中的选型与部署…
AI视觉
10
模型转换与优化
将PyTorch/TensorFlo… · TensorRT或OpenVINO格… · 并集成到ROS2节点
模型转换优化
11
推理节点实现
编写C++或Python推理节点 · 加载模型 · 处理图像
推理节点实现C++
12
结果消息定义
自定义消息（如DetectionAr… · 定义检测框 · 类别
结果消息定义DetectionAr
13
结果发布与可视化
将推理结果发布到话题 · 并在RViz2或自定义可视化工具中叠…
结果发布可视化
14
摄像头与推理节点协同
使用launch文件同时启动摄像头节… · 配置参数与重映射
摄像头推理节点协同
15
性能优化
推理延迟 · 帧率 · CPU/GPU占用
性能优化推理延迟
16
多摄像头支持
多个摄像头话题的同步 · 选择与融合 · 以及多路推理的负载均衡
多摄像头支持多个摄像头话题的…
17
异步与同步推理
ROS2回调机制 · 异步推理队列 · 避免阻塞节点的方法
异步同步推理
18
错误处理与鲁棒性
摄像头断开 · 模型加载失败 · 推理超时等异常情况的处理策略
错误处理鲁棒性
19
日志与调试
使用ROS2日志系统 · rqt_console · 调试工具定位视觉AI节点问题
日志调试
20
实战案例1
基于YOLOv5的实时目标检测节点 · 从摄像头话题输入到检测结果发布
实战案例1YOLOv5
21
实战案例2
人脸检测与识别节点 · 结合摄像头话题和预训练模型 · 发布识别结果
实战案例2人脸检测
22
实战案例3
语义分割节点 · 将分割掩码发布为图像话题 · 用于机器人导航避障
实战案例3语义分割节点
23
实战案例4
深度估计与障碍物检测 · 结合深度相机话题和推理节点 · 发布距离信息
实战案例4深度估计
24
与机器人导航集成
将视觉AI结果转换为代价地图或避障指… · 发布到导航相关话题
机器人导航集成AI
25
与机械臂控制集成
视觉引导抓取 · 将检测到的物体位姿发布到机械臂控制节…
机械臂控制集成视觉引导抓取
26
多节点协同与管道
使用ROS2组件（Composabl… · 提高视觉AI管道效率
多节点协同管道
27
测试与验证
单元测试 · 集成测试 · 仿真环境（如Gazebo）中验证视觉…
测试验证
28
部署到真实机器人
在Jetson · 树莓派等嵌入式平台部署 · 考虑算力与功耗限制
部署到真实机器人Jetson
29
常见问题与解决方案
图像花屏 · 话题频率低 · 模型推理慢
常见问题解决方案
30
课程总结与进阶方向
回顾核心技能 · 介绍ROS2+视觉AI的最新趋势（如… · 边缘计算）与学习资源
课程总结进阶方向