第1章
课程导论
为什么传统定位不够用?BEV感知如何让定位更精准?课程目标与学习路径。
定位入门
第2章
坐标系基础
世界坐标系、车辆坐标系、相机坐标系、图像坐标系,以及它们之间的转换关系。
几何核心
第3章
传感器标定
相机内参标定、相机-激光雷达外参标定、IMU-车辆标定,标定精度对定位的影响。
标定精度
第4章
BEV感知概览
什么是BEV?BEV感知的核心思想、主流方案(LSS、Transformer)对比。
概览LSSTransformer
第5章
视觉几何基础
针孔相机模型、畸变校正、对极几何、三角化测量。
几何相机
第6章
多视图几何
单应性矩阵、本质矩阵、基础矩阵,以及它们在BEV视角转换中的应用。
矩阵BEV
第7章
LSS原理(上)
Lift操作——深度分布预测、特征提升到3D空间。
LSS深度
第8章
LSS原理(下)
Splat操作——BEV网格池化、特征渲染,以及完整的LSS pipeline。
LSSpipeline
第9章
BEVFormer原理(上)
Transformer基础回顾、可变形注意力机制。
Transformer注意力
第10章
BEVFormer原理(下)
时空注意力、BEV Query设计、多尺度特征融合。
时空BEV
第11章
BEV感知中的时序融合
为什么需要时序?时序对齐、时序注意力、时序平滑。
时序融合
第12章
BEV感知中的语义分割
车道线、可行驶区域、路沿的BEV语义分割方法。
语义分割车道
第13章
BEV感知中的目标检测
3D目标检测在BEV空间中的实现,CenterPoint等算法。
检测3D
第14章
BEV感知中的实例分割
如何区分不同车辆、行人,Panoptic Segmentation。
实例分割全景
第15章
BEV感知与高精地图匹配
将BEV感知结果与HD Map进行配准,获取绝对定位。
高精地图配准
第16章
BEV感知与视觉里程计
利用BEV特征进行帧间匹配,估计相对运动。
VO帧间
第17章
BEV感知与IMU融合
松耦合与紧耦合方案,ESKF滤波在BEV定位中的应用。
IMUESKF
第18章
BEV感知与GPS/RTK融合
城市峡谷下的多源融合策略,如何用BEV弥补GPS信号丢失。
GPSRTK融合
第19章
BEV感知与激光雷达定位
BEV与LiDAR点云配准(NDT、ICP)的结合。
LiDARNDTICP
第20章
BEV感知中的回环检测
基于BEV特征的场景识别,如何用BEV做回环。
回环场景识别
第21章
BEV感知中的动态物体处理
如何剔除动态车辆、行人,避免定位漂移。
动态鲁棒
第22章
BEV感知中的光照与天气鲁棒性
夜间、雨雪、逆光场景下的BEV定位优化。
鲁棒性天气
第23章
BEV感知中的计算效率优化
模型剪枝、量化、TensorRT部署,端到端延迟控制。
部署TensorRT
第24章
BEV感知中的数据集与评测
nuScenes、Waymo、自己采集数据,评测指标(ATE、RPE)。
数据集评测
第25章
BEV感知定位系统实战(一)
搭建BEV感知pipeline,从传感器数据到BEV特征。
实战pipeline
第26章
BEV感知定位系统实战(二)
实现BEV特征与地图的匹配定位模块。
实战地图匹配
第27章
BEV感知定位系统实战(三)
实现BEV视觉里程计与IMU融合。
实战VO+IMU
第28章
BEV感知定位系统实战(四)
多源融合定位引擎搭建,输出6DoF位姿。
实战6DoF
第29章
BEV感知定位系统实战(五)
实车测试与调参,常见问题排查。
实战调参
第30章
总结与展望
BEV感知定位的未来趋势,端到端定位、无图化定位。
趋势无图