01
感知融合概述
什么是感知融合？为什么需要感知融合？感知融合在自动驾驶中的核心地位。
核心概念自动驾驶
02
传感器基础（上）
摄像头工作原理、坐标系与内参外参、图像数据格式。
摄像头内参外参
03
传感器基础（下）
激光雷达工作原理、点云数据格式、毫米波雷达与超声波雷达简介。
LiDAR毫米波
04
坐标系与坐标变换
世界坐标系、车辆坐标系、传感器坐标系、刚体变换与齐次坐标。
坐标变换刚体变换
05
时间同步基础
为什么需要时间同步？硬件同步方案（PPS、GPRMC）与软件同步方案。
PPS同步
06
空间同步基础
传感器标定概述、联合标定流程、外参矩阵求解。
标定外参
07
数据预处理
图像去畸变、点云滤波（直通滤波、体素滤波、统计滤波）、ROI提取。
滤波ROI
08
目标检测入门（视觉）
基于深度学习的2D检测（YOLO系列简介）、Bounding Box与置信度。
YOLO2D检测
09
目标检测入门（点云）
基于深度学习的3D检测（PointPillars简介）、BEV视角。
PointPillarsBEV
10
多目标跟踪基础
卡尔曼滤波原理、匈牙利匹配算法、ID分配与管理。
卡尔曼匈牙利
11
感知融合架构
前融合（Early Fusion）、后融合（Late Fusion）、特征融合（Deep Fusion）。
架构融合策略
12
后融合实战（一）
基于规则的目标关联（IoU匹配、马氏距离）。
IoU马氏距离
13
后融合实战（二）
融合状态估计（加权平均、扩展卡尔曼滤波EKF）。
EKF状态估计
14
前融合实战
BEV空间下的特征对齐、多模态特征拼接。
BEV特征对齐
15
特征融合实战
注意力机制入门、Transformer在融合中的应用（简单介绍）。
注意力Transformer
16
车道线检测与融合
视觉车道线检测、高精地图融合、车道级定位。
车道线高精地图
17
可行驶区域检测
视觉语义分割、点云地面分割、融合决策。
语义分割地面分割
18
障碍物属性识别
类型分类（车/人/自行车）、运动状态估计（静止/运动）。
分类运动估计
19
感知融合中的不确定性
噪声建模、协方差传递、置信度评估。
不确定性协方差
20
ROS基础
ROS通信机制（Topic/Service）、常用工具（Rviz、Bag）。
ROSRviz
21
搭建感知融合系统（一）
系统架构设计、模块划分、数据流图。
架构数据流
22
搭建感知融合系统（二）
编写融合节点、消息定义、代码框架。
节点代码
23
搭建感知融合系统（三）
可视化调试、Rviz显示融合结果。
可视化调试
24
数据集与评测
KITTI数据集、nuScenes数据集、评测指标（mAP、MOTA）。
KITTInuScenes
25
工程化挑战
实时性要求、资源消耗优化、嵌入式部署思路。
实时性嵌入式
26
功能安全与冗余
ASIL等级、传感器冗余设计、降级策略。
ASIL冗余
27
前沿技术概览
端到端感知、Occupancy Network、4D毫米波雷达。
Occupancy4D雷达
28
实战项目（一）
基于开源数据实现后融合跟踪。
实战后融合
29
实战项目（二）
基于仿真环境搭建前融合检测。
仿真前融合
30
总结与职业发展
学习路径推荐、论文阅读建议、行业趋势分析。
职业趋势