01
课程导论与项目全景
车道线检测在自动驾驶中的核心地位、课程目标、系统整体架构概览、开发环境与工具链介绍(Python、OpenCV、PyTorch)。
导论全景
02
图像基础与预处理(上)
图像在计算机中的表示(RGB、灰度)、图像读取与显示、颜色空间转换(BGR2GRAY、BGR2HSV)、图像缩放与裁剪。
颜色空间缩放
03
图像基础与预处理(下)
图像滤波(高斯滤波、中值滤波)、边缘检测原理(Sobel、Canny)、形态学操作(膨胀、腐蚀、开闭运算)。
滤波边缘
04
经典车道线检测算法(Hough变换)
霍夫变换原理(直线检测)、标准霍夫变换与概率霍夫变换、ROI(感兴趣区域)提取、车道线拟合与绘制。
HoughROI
05
经典车道线检测算法(滑动窗口)
基于直方图的车道线定位、滑动窗口搜索算法、车道线曲线拟合(多项式拟合)、车道线置信度评估。
滑动窗口拟合
06
透视变换与逆透视变换
相机成像模型、透视变换原理、鸟瞰图(BEV)生成、逆透视变换(IPM)在车道线检测中的应用。
IPMBEV
07
深度学习基础回顾(上)
神经网络基础、卷积神经网络(CNN)核心概念(卷积、池化、全连接)、激活函数(ReLU、Sigmoid)、损失函数与优化器。
CNN激活函数
08
深度学习基础回顾(下)
PyTorch框架入门(张量、自动求导)、构建简单的CNN模型、模型训练与评估流程、GPU加速与数据并行。
PyTorchGPU
09
语义分割与车道线检测
语义分割任务定义、U-Net网络架构详解、FCN(全卷积网络)原理、分割网络在车道线检测中的优势。
分割U-Net
10
经典分割模型实战(U-Net)
U-Net的PyTorch实现、编码器-解码器结构、跳跃连接的作用、训练U-Net进行车道线分割。
U-Net跳跃连接
11
经典分割模型实战(DeepLabv3+)
空洞卷积(Atrous Convolution)、空间金字塔池化(ASPP)、DeepLabv3+网络结构解析、模型训练与调优。
DeepLabASPP
12
轻量化模型与实时检测
MobileNet、ShuffleNet等轻量化骨干网络、模型剪枝与量化、TensorRT加速推理、在嵌入式设备(如Jetson)上的部署。
轻量化TensorRT
13
车道线检测数据集详解
TuSimple数据集介绍与解析、CULane数据集介绍与解析、数据标注格式(JSON、Lane)、数据增强策略(翻转、旋转、颜色抖动)。
TuSimpleCULane
14
数据加载与预处理Pipeline
PyTorch Dataset与DataLoader自定义、图像与标签的同步变换、数据增强库(Albumentations)的使用、数据可视化与检查。
PipelineAlbumentations
15
模型训练与调优策略
学习率调度策略(Cosine Annealing、StepLR)、损失函数选择(CrossEntropy、Dice Loss、Focal Loss)、优化器选择(Adam、SGD)、过拟合与欠拟合处理。
调优损失函数
16
模型评估与指标
交并比(IoU)计算、准确率、召回率、F1-score、车道线检测的特定指标(准确度、假阳性率)、可视化评估结果。
IoU评估
17
后处理与车道线拟合
从分割图提取车道线点、基于RANSAC的鲁棒拟合、车道线聚类与排序、车道线平滑与跟踪。
RANSAC拟合
18
车道线跟踪与稳定性
卡尔曼滤波原理、基于卡尔曼滤波的车道线跟踪、匈牙利算法与数据关联、处理车道线遮挡与消失。
卡尔曼跟踪
19
多车道线检测与拓扑
检测多条车道线(左、右、相邻车道)、车道线拓扑关系建立、车道变更检测、车道线类型分类(实线、虚线、双黄线)。
多车道拓扑
20
端到端车道线检测方法
LaneNet架构详解、H-Net(透视变换网络)原理、端到端训练的优势与挑战、对比传统方法与深度学习方法。
LaneNet端到端
21
基于Transformer的车道线检测
Transformer基础回顾(自注意力、多头注意力)、DETR-like架构在车道线检测中的应用、Laneformer等最新方法简介。
Transformer注意力
22
模型部署与ONNX导出
模型转换为ONNX格式、ONNX Runtime推理、TensorRT部署流程、模型量化(FP16、INT8)实战。
ONNX量化
23
C++部署与工程化
LibTorch(PyTorch C++ API)使用、OpenCV C++集成、C++推理Pipeline搭建、性能优化与内存管理。
C++LibTorch
24
系统集成与ROS
ROS(机器人操作系统)基础、发布与订阅车道线检测结果、可视化工具(Rviz)、多传感器融合(相机+LiDAR)简介。
ROSRviz
25
实战项目一:高速公路车道线检测系统
需求分析、系统设计、模型选择与训练、系统集成与测试、性能评估与优化。
高速公路实战
26
实战项目二:城市道路车道线检测系统
城市道路场景特点(弯道、遮挡、光照变化)、多模型融合策略、鲁棒性提升技巧、实车测试经验分享。
城市道路多模型
27
实战项目三:夜间与恶劣天气车道线检测
低光照增强算法、去雾算法、多模态融合(红外相机)、数据增强与域适应。
夜间恶劣天气
28
模型压缩与边缘部署
模型蒸馏原理、知识蒸馏在车道线检测中的应用、TensorFlow Lite部署、OpenVINO部署。
蒸馏边缘部署
29
前沿趋势与未来展望
基于BEV(鸟瞰图)的车道线检测、端到端自动驾驶中的车道线感知、大模型与车道线检测、在线学习与自适应系统。
BEV前沿
30
课程总结与进阶路线
课程核心知识点回顾、常见面试题解析、推荐论文与开源项目、个人成长路径与职业规划建议。
总结进阶