01
感知联调概述
什么是感知联调 · 感知系统在自动驾驶中的角色 · 课程目标与学习路径
入门概览
02
环境搭建
Ubuntu系统配置 · ROS2安装与配置 · 依赖库安装 (OpenCV, PCL, Eigen)
工具配置
03
传感器基础
摄像头工作原理与选型 · 激光雷达工作原理与选型 · 毫米波雷达与超声波雷达简介
硬件选型
04
数据采集与标定
传感器时间同步 · 相机内参标定 · 相机与激光雷达联合标定
标定数据
05
ROS2基础
节点与话题通信 · 服务与动作通信 · Launch文件编写 · Bag包录制与回放
ROS2通信
06
图像处理基础
图像读取与显示 · 颜色空间转换 · 图像滤波与边缘检测
OpenCV视觉
07
点云处理基础
点云读取与可视化 · 体素滤波与直通滤波 · 点云分割与聚类
PCL点云
08
目标检测入门
基于OpenCV的传统目标检测 (Haar Cascade) · 基于深度学习的YOLOv5部署
检测YOLO
09
目标跟踪入门
卡尔曼滤波原理 · 匈牙利匹配算法 · 简单的多目标跟踪实现
跟踪滤波
10
感知融合基础
前融合与后融合策略 · 基于规则的目标匹配 · 简单的融合节点实现
融合策略
11
实战项目一：车道线检测
图像预处理 · 透视变换 · 滑动窗口搜索 · 车道线拟合与绘制
实战车道线
12
实战项目二：交通标志识别
数据集准备 · 模型训练 (LeNet/ResNet) · 模型部署与推理
实战分类
13
实战项目三：障碍物检测与测距
YOLO检测+深度估计 · 点云投影到图像 · 障碍物位置计算
实战测距
14
实战项目四：多传感器融合定位
IMU与GPS融合 (EKF) · 激光雷达与IMU融合 (LIO-SAM简介)
实战定位
15
实战项目五：停车场感知系统
车位检测 · 车辆检测 · 路径规划与避障
实战泊车
16
性能优化
模型量化与剪枝 · TensorRT加速 · ROS2节点优化与零拷贝
优化加速
17
调试与可视化
Rviz2可视化 · Webviz远程监控 · 日志系统与错误排查
调试可视化
18
仿真环境搭建
Carla/SUMO安装与配置 · 传感器仿真 · 联合仿真测试
仿真Carla
19
数据集制作
数据标注工具 (LabelImg, CloudCompare) · 数据增强 · 数据集格式转换 (COCO, KITTI)
数据标注
20
模型评估
混淆矩阵 · mAP计算 · PR曲线绘制 · 模型部署后的在线评估
评估指标
21
安全与可靠性
功能安全概念 · 冗余设计 · 故障诊断与降级策略
安全冗余
22
边缘计算部署
Jetson Nano/TX2环境配置 · 模型转换与部署 · 功耗与性能调优
边缘Jetson
23
V2X通信基础
DSRC与C-V2X简介 · 消息集标准 (BSM, MAP) · 简单的V2X应用实现
V2X通信
24
感知系统测试
MIL/SIL/HIL测试 · 场景库构建 · 回归测试与自动化测试
测试验证
25
感知系统标定进阶
在线标定 · 自动标定 · 多传感器外参优化
标定进阶
26
深度学习模型训练进阶
数据并行与分布式训练 · 混合精度训练 · 模型蒸馏
训练进阶
27
感知系统架构设计
模块化设计 · 接口规范 · 数据流设计 · 中间件选型
架构设计
28
感知系统在园区物流车中的应用
需求分析 · 系统设计 · 部署与调试
应用物流
29
感知系统在Robotaxi中的应用
传感器配置 · 感知方案 · 安全冗余
应用Robotaxi
30
课程总结与未来展望
感知技术发展趋势 · 学习资源推荐 · 职业发展建议
总结展望