01
课程导论
感知融合的定义、为什么需要融合、课程整体架构与学习路径。
入门概览
02
传感器基础
摄像头、激光雷达、毫米波雷达、超声波雷达的工作原理与数据特点。
传感器硬件
03
坐标系与标定
世界坐标系、车辆坐标系、传感器坐标系，以及联合标定方法。
标定几何
04
时间同步
硬件同步与软件同步机制，时间戳对齐与插值算法。
同步时序
05
空间对齐
基于外参的坐标变换，点云投影到图像，图像反投影到点云。
坐标投影
06
数据预处理
图像去畸变、点云滤波（体素滤波、直通滤波）、雷达点云聚类。
滤波点云
07
目标检测基础
基于深度学习的2D/3D目标检测概述（YOLO、PointPillars）。
检测深度学习
08
多目标跟踪
卡尔曼滤波原理、匈牙利匹配、SORT与DeepSORT算法。
跟踪卡尔曼
09
关联与匹配
IOU匹配、马氏距离、余弦相似度，全局最近邻与联合概率关联。
关联度量
10
融合策略
前融合、后融合、特征级融合的优缺点对比与选型。
策略对比
11
后融合实战
基于卡尔曼滤波的雷达与视觉目标级融合。
实战卡尔曼
12
前融合实战
基于BEV空间的激光雷达与摄像头特征融合。
BEV特征融合
13
特征级融合
基于Transformer的多模态特征交互与注意力机制。
Transformer注意力
14
不确定性估计
传感器噪声建模、协方差传递、融合权重动态调整。
不确定性权重
15
融合框架搭建
ROS2节点设计、消息定义、数据流架构。
ROS2架构
16
C++与Python混合编程
性能关键模块用C++，原型验证用Python。
C++Python
17
性能评估指标
MOTA、MOTP、ID Switch、延迟、吞吐量。
指标评估
18
调优方法论
数据驱动调优与规则驱动调优，A/B测试框架。
调优方法论
19
参数调优
卡尔曼滤波参数、关联阈值、融合权重的手动与自动调优。
参数自动调优
20
场景适配
城市道路、高速公路、隧道、雨雾天气的融合策略调整。
场景鲁棒性
21
故障诊断
传感器丢失、时间戳异常、标定偏移的检测与容错。
诊断容错
22
可视化与调试
RViz2、Foxglove、自定义可视化工具链。
可视化调试
23
数据集与仿真
nuScenes、KITTI、CARLA仿真数据生成与评测。
数据集仿真
24
工程化部署
TensorRT加速、ONNX导出、嵌入式平台优化。
部署加速
25
功能安全
ISO 26262、ASIL等级、冗余设计与降级策略。
安全冗余
26
多传感器标定进阶
在线标定、目标驱动标定、自动标定工具。
标定自动
27
融合中的机器学习
端到端融合网络、可学习关联模块。
机器学习端到端
28
实战项目一
基于后融合的障碍物感知系统搭建。
项目后融合
29
实战项目二
基于BEV前融合的纯视觉与激光雷达融合方案。
项目BEV
30
课程总结与未来展望
多模态大模型、4D成像雷达、车路协同融合趋势。
总结趋势