VIP9

本课程属于：051-4D毫米波雷达感知与目标跟踪 智能汽车与新能源汽车工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

毫米波雷达与激光雷达融合实战

📚 共计 30 章节

传感器融合概述

为什么需要融合？毫米波雷达与激光雷达的优缺点对比，融合系统的应用场景（自动驾驶、机器人、安防）。

毫米波雷达基础

工作原理（FMCW）、信号处理流程（距离-多普勒FFT）、点云生成、常见参数解读。

激光雷达基础

工作原理（TOF/三角法）、点云数据结构、常见激光雷达类型（机械式、固态、MEMS）。

坐标系与标定

传感器坐标系定义、刚体变换（旋转+平移）、外参标定方法（手动/自动）、联合标定流程。

硬件同步（PPS/GPS）、软件同步（时间戳对齐）、插值方法、实战中的时间戳处理技巧。

点云投影、坐标变换矩阵推导、体素滤波与降采样、ROI区域提取。

毫米波雷达数据处理

杂波抑制（CFAR）、多普勒解模糊、目标聚类（DBSCAN）、目标跟踪（卡尔曼滤波）。

激光雷达数据处理

地面分割（RANSAC/平面拟合）、障碍物聚类（欧式聚类）、边界框拟合。

目标级融合

目标关联（匈牙利算法/马氏距离）、融合状态估计（扩展卡尔曼滤波）、生命周期管理。

特征级融合

特征提取（速度、距离、RCS、点云密度）、特征向量拼接、特征选择与降维。

数据级融合

原始点云叠加、BEV视角融合、多传感器点云拼接、分辨率差异处理。

融合中的不确定性

协方差矩阵、置信度评估、异常值剔除、鲁棒融合策略。

鲁棒协方差

基于规则的目标匹配

最近邻匹配、全局最近邻（GNN）、联合概率数据关联（JPDA）。

卡尔曼滤波家族

标准KF、EKF、UKF、粒子滤波在融合中的应用对比。

多目标跟踪

跟踪初始化、跟踪维持、跟踪消亡、ID管理、航迹关联。

传感器失效处理

单传感器降级模式、故障检测、冗余切换策略、安全机制。

ROS环境搭建

ROS安装、消息类型定义（sensor_msgs）、节点通信、bag包录制与回放。

数据采集与预处理

多传感器数据同步采集、数据清洗、异常帧剔除、数据标注工具。

融合算法实现（Python）

基于numpy的坐标变换、基于scipy的关联匹配、基于filterpy的卡尔曼滤波。

融合算法实现（C++）

Eigen库使用、PCL点云处理、OpenCV矩阵运算、性能优化。

仿真环境搭建

CARLA/SUMO联合仿真、传感器噪声模拟、场景生成、评估指标。

融合结果评估

检测指标（AP、mAP）、跟踪指标（MOTA、IDSW）、延迟与吞吐量。

案例1：高速公路场景融合

远距离目标检测、速度估计、车道级定位。

案例2：城市交叉口融合

遮挡处理、行人检测、多路径干扰抑制。

案例3：停车场自主泊车融合

近距离感知、静态障碍物、车位检测。

案例4：矿区/工地场景融合

粉尘环境、非结构化道路、大型机械检测。

矿区非结构

深度学习融合方法

PointPillars、BEVDet、Transformer融合、端到端融合网络。

深度学习BEV

工程化部署

模型量化、TensorRT加速、嵌入式平台（Jetson/FPGA）、实时性优化。

行业标准与法规

ISO 26262功能安全、ASIL等级、预期功能安全（SOTIF）、数据合规。

前沿趋势与总结

4D成像雷达、固态激光雷达、多模态大模型、课程总结与学习路径建议。