VIP20

本课程属于：029-感知融合 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

自动驾驶多传感器障碍物检测系统

📚 共计 30 章节

障碍物检测概述

什么是障碍物检测 · 为什么需要 · 应用场景：自动驾驶、机器人、安防监控

基础概念应用

传感器基础

激光雷达 · 毫米波雷达 · 摄像头 · 超声波传感器工作原理

LiDAR雷达摄像头

坐标系与空间变换

世界/车辆/传感器坐标系 · 变换矩阵 · 外参标定简介

点云数据基础

什么是点云 · 数据结构 · 存储格式(PCD/PLY/LAS) · 可视化工具

点云PCD可视化

点云预处理

体素滤波 · 统计/半径滤波 · 直通滤波 · 地面分割

滤波降采样分割

点云聚类算法

欧几里得聚类 · DBSCAN · 区域生长 · 网格聚类

点云目标检测

传统形状拟合 · 深度学习：PointNet, PointPillars, VoxelNet

3D检测PointNet

RGB/灰度表示 · 边缘/角点/纹理特征 · 图像金字塔

图像预处理

高斯/中值滤波 · 直方图均衡化 · 缩放与裁剪

图像特征提取

SIFT · SURF · ORB · HOG

图像目标检测传统方法

滑动窗口 · Haar+Adaboost · HOG+SVM

图像目标检测深度学习方法

两阶段: R-CNN系列 · 一阶段: YOLO, SSD

YOLOFaster R-CNN

多传感器融合

数据级/特征级/决策级 · 前融合/后融合 · 时间空间对齐

障碍物跟踪

卡尔曼滤波 · 扩展卡尔曼 · 匈牙利匹配 · 多目标跟踪MOT

跟踪卡尔曼

障碍物分类

基于形状 · 语义 · 运动模型分类

障碍物状态估计

位置/速度/朝向角/尺寸估计

可行驶区域检测

语义分割 · 地面平面拟合 · 立体视觉

可行驶区域分割

自由空间估计

占据网格 · 射线投射 · 贝叶斯更新

占据网格自由空间

3D障碍物检测

基于点云/图像/多模态的3D检测

3D检测多模态

BEV视角感知

BEV特征表示 · LSS方法 · Transformer在BEV中的应用

LSTM时序建模 · 注意力机制 · 光流运动补偿

时序LSTM光流

数据标注与数据集

KITTI · nuScenes · Waymo · 标注工具(LabelImg, CloudCompare)

数据集标注

模型评估指标

IoU · mAP · 召回率/精确率 · FPS

模型部署与优化

量化 · 剪枝 · TensorRT · ONNX转换

边缘计算与嵌入式部署

Jetson · RK3588 · OpenCL · NPU

边缘计算Jetson

挑战与难点

小目标 · 遮挡 · 恶劣天气 · 长尾场景

安全性与冗余设计

功能安全ISO 26262 · 传感器/算法冗余 · 故障降级

ROS/ROS2 · ZeroMQ/DDS · RViz/Foxglove可视化

端到端感知 · 大模型 · 4D成像雷达 · 事件相机

前沿大模型

综合项目实战

基于多传感器融合的障碍物检测系统设计与实现