01
课程导论：为什么车道线感知这么难？融合的必要性。
从真实场景痛点出发，剖析车道线感知的挑战与融合感知的核心价值。
导论融合思维
02
传感器基础：摄像头、毫米波雷达、激光雷达的特性与局限。
深入对比三大传感器的物理原理、优势与边界条件。
传感器物理层
03
坐标系与标定：车辆坐标系、相机坐标系、雷达坐标系及联合标定。
掌握多传感器空间对齐的数学基础与标定板方法。
标定坐标系
04
时间同步：多传感器硬触发与软触发机制，时间戳对齐。
实现微秒级同步，解决运动畸变与数据错位问题。
同步触发
05
空间对齐：基于外参的投影变换，将雷达点云投影到图像。
利用外参矩阵完成雷达与图像像素级对齐。
投影外参
06
传统视觉车道线检测：边缘检测、霍夫变换、RANSAC拟合。
经典图像处理算法在车道线任务中的应用与调优。
传统视觉RANSAC
07
深度学习视觉车道线：语义分割（UNet、LaneNet）、实例分割。
基于深度学习的像素级车道线识别与实例区分。
深度学习分割
08
视觉车道线后处理：聚类、曲线拟合（三次样条、贝塞尔）。
将分割结果转化为平滑、可用的车道线曲线。
后处理曲线拟合
09
雷达点云预处理：地面滤波、点云聚类、动态物体剔除。
净化点云数据，提取静态环境关键信息。
点云滤波
10
雷达车道线特征提取：基于回波强度与高程的边界检测。
利用毫米波雷达的独特特征提取道路边界。
雷达特征边界
11
激光雷达车道线检测：基于强度图与高程图的栅格化方法。
将激光雷达点云转化为栅格图进行车道线检测。
激光雷达栅格化
12
多传感器目标级融合：匈牙利匹配、卡尔曼滤波跟踪。
经典融合框架，实现目标级关联与状态估计。
目标融合卡尔曼
13
特征级融合：BEV空间下的特征拼接与注意力机制。
在BEV视角下融合多模态特征，提升感知鲁棒性。
特征融合注意力
14
数据级融合：原始点云与图像像素的早期融合。
在数据层面直接拼接多传感器原始信息。
早期融合数据级
15
基于BEV的融合感知：Transformer在BEV中的应用（BEVFormer）。
前沿Transformer架构实现端到端BEV融合感知。
BEVTransformer
16
车道线置信度评估：基于几何一致性、语义一致性的打分。
量化车道线输出的可靠性，为下游提供置信度。
置信度评估
17
遮挡场景处理：利用雷达穿透性恢复被遮挡车道线。
发挥雷达优势，重建视觉遮挡区域的车道线。
遮挡雷达穿透
18
恶劣天气鲁棒性：雨雪雾天气下的传感器互补策略。
针对恶劣天气设计多传感器融合方案，保证性能。
恶劣天气互补
19
车道线拓扑推理：基于先验地图与VIO的拓扑连接。
结合地图先验与视觉惯性里程计推理车道拓扑。
拓扑VIO
20
多帧时序融合：利用LSTM或滑动窗口平滑车道线输出。
时序模型融合多帧信息，提升稳定性和连续性。
时序融合LSTM
21
车道线跟踪：基于Kalman滤波或粒子滤波的跟踪。
对车道线进行动态跟踪，实现预测与关联。
跟踪粒子滤波
22
失效检测与降级：传感器故障时如何保持车道线输出。
设计故障检测机制与降级策略，保证系统安全。
失效检测降级
23
在线标定校正：行驶中动态修正外参漂移。
在线实时优化外参，应对振动与温漂。
在线标定校正
24
仿真与数据集：常用数据集（OpenLane, KITTI）与仿真工具。
掌握主流数据集与仿真平台，加速算法迭代。
数据集仿真
25
评价指标：F1-score、最大误差、平均误差、鲁棒性测试。
建立全面的评价体系，量化算法性能。
指标评测
26
工程部署：TensorRT加速、NVIDIA DriveWorks实践。
将算法落地到嵌入式平台，实现实时推理。
部署TensorRT
27
实战项目一：基于视觉+毫米波雷达的车道线融合。
完整项目实战，融合视觉与毫米波雷达。
实战毫米波
28
实战项目二：基于视觉+激光雷达的车道线融合。
视觉与激光雷达深度融合，实现高鲁棒性。
实战激光雷达
29
实战项目三：恶劣天气下的多传感器融合方案。
针对雨雪雾天气设计并验证融合系统。
实战恶劣天气
30
课程总结与未来展望：端到端感知、V2X融合趋势。
回顾课程核心，展望下一代感知技术。
总结V2X