第1章
感知联调概述
什么是感知联调 · 感知系统在机器人/自动驾驶中的作用 · 课程目标与学习路径
入门概览
第2章
传感器基础
摄像头 · 激光雷达 · 毫米波雷达 · 超声波传感器的工作原理与选型
硬件选型
第3章
ROS2环境搭建
ROS2安装 · 工作空间配置 · 话题与服务的基本使用
环境ROS2
第4章
数据采集与标定
传感器数据采集 · 时间同步 · 内参外参标定基础
标定数据
第5章
图像处理入门
OpenCV基础 · 图像滤波 · 边缘检测 · 特征提取
视觉OpenCV
第6章
点云处理入门
PCL基础 · 点云滤波 · 点云分割 · 点云配准
3DPCL
第7章
多传感器融合
卡尔曼滤波 · 扩展卡尔曼滤波 · 粒子滤波原理与实现
融合滤波
第8章
目标检测
基于深度学习的2D/3D目标检测 (YOLO, PointPillars)
检测YOLO
第9章
目标跟踪
SORT · DeepSORT算法原理与实战
跟踪DeepSORT
第10章
语义分割
图像语义分割 (UNet) · 点云语义分割 (PointNet++)
分割UNet
第11章
激光SLAM
GMapping · Cartographer原理与实战
SLAM激光
第12章
视觉SLAM
ORB-SLAM3原理与实战
SLAM视觉
第13章
多传感器融合SLAM
LIO-SAM · VINS-Fusion原理与实战
融合SLAM
第14章
路径规划
全局路径规划 (A*, Dijkstra) · 局部路径规划 (DWA, TEB)
规划A*
第15章
控制算法
PID控制 · MPC控制原理与调参
控制MPC
第16章
感知系统仿真
Gazebo仿真环境搭建 · 传感器仿真 · 场景构建
仿真Gazebo
第17章
感知系统硬件部署
Jetson Orin/NVIDIA Xavier环境配置 · 模型部署
硬件Jetson
第18章
感知系统实时性优化
TensorRT加速 · 模型量化 · 算子优化
优化TensorRT
第19章
感知系统测试与评估
数据集构建 · 评价指标 (mAP, IoU, ATE)
评估指标
第20章
感知系统安全与冗余
功能安全 · 传感器冗余设计 · 故障诊断
安全冗余
第21章
感知系统通信
DDS协议 · ZeroMQ · 共享内存通信机制
通信DDS
第22章
感知系统日志与调试
ROS2日志系统 · rqt工具 · 可视化调试
调试rqt
第23章
感知系统标定实战
Camera-Lidar联合标定 · Camera-IMU标定
标定联合
第24章
感知系统数据管理
数据存储格式 (bag, pcd) · 数据回放与标注
数据bag
第25章
感知系统深度学习框架
PyTorch · TensorFlow在感知中的应用
框架PyTorch
第26章
感知系统模型训练
数据增强 · 迁移学习 · 分布式训练
训练迁移
第27章
感知系统模型部署
ONNX · TensorRT · OpenVINO实战
部署ONNX
第28章
端到端案例：园区无人车
园区无人车感知系统搭建
案例无人车
第29章
端到端案例：室内服务机器人
室内服务机器人感知系统搭建
案例机器人
第30章
感知系统前沿技术
BEV感知 · Occupancy Network · 端到端自动驾驶
前沿BEV