01
BEV感知概述
什么是BEV感知 · 核心地位 · 与传统视觉区别 · 大纲介绍
入门全景
02
坐标系与空间变换基础
世界/相机/图像/像素坐标系 · 转换公式 · 内外参
几何矩阵
03
相机模型与标定
针孔模型 · 畸变 · 张正友标定 · 标定工具
标定内参
04
多视图几何基础
对极几何 · 本质/基础矩阵 · 单应 · 三角化 · PnP
几何多目
05
BEV特征提取
2D backbone · ResNet · Swin · FPN · 多尺度融合
特征backbone
06
视锥变换 (LSS核心)
视锥构建 · 深度估计 · 特征点云 · 体素池化
LSS体素
07
LSS算法详解 (上)
Lift步骤 · 深度网络 · 特征提升 · 相机参数融合
LSSLift
08
LSS算法详解 (下)
Splat步骤 · 体素池化加速 · BEV特征 · 损失函数
LSSSplat
09
Transformer基础
自注意力 · 多头注意力 · 位置编码 · Encoder/Decoder
Transformer注意力
10
BEVFormer详解
空间交叉注意力 · 时序自注意力 · BEV Query · 可变形注意力
BEVFormer时序
11
BEVFormer实战
配置文件 · 模型代码 · 训练流程 · 推理流程
实战代码
12
时序融合
时序建模 · 时序对齐 · 时序注意力 · 数据增强
时序融合
13
目标检测
2D vs 3D · 3D框定义 · CenterHead · 分类/回归头
检测3D
14
车道线检测
车道线表示 · 网络结构 · 后处理
车道线BEV
15
可行驶区域分割
语义分割基础 · BEV分割网络 · 多任务学习
分割可行驶
16
深度估计
单目/多目深度估计 · 深度监督 · 不确定性
深度估计
17
数据增强
图像增强 · BEV空间增强 · 时序增强 · CutMix · MixUp
增强正则
18
后处理
NMS · Soft-NMS · WBF · 3D框解码 · 类别平衡
后处理NMS
19
评估指标
mAP · NDS · ATE/ASE/AOE/AVE/AAE · nuScenes指标
指标评测
20
nuScenes数据集
数据集结构 · 传感器 · 标注格式 · 加载 · 可视化
数据集nuScenes
21
训练技巧
学习率策略 · 优化器 · 梯度累积 · 混合精度 · 分布式
训练技巧
22
模型部署
ONNX · TensorRT · 量化 · INT8 · 端侧部署
部署加速
23
注意力机制优化
Flash Attention · 稀疏注意力 · 线性注意力 · KV Cache
注意力优化
24
长尾问题处理
数据不平衡 · 难例挖掘 · 重采样 · Focal Loss · GHM
长尾损失
25
多模态融合
相机+激光雷达 · 相机+毫米波 · 特征级/决策级融合
多模态融合
26
在线建图
HDMap生成 · 矢量地图 · 拓扑关系 · 地图更新
建图HDMap
27
轨迹预测
轨迹预测基础 · 目标交互 · 多模态 · 场景约束
预测轨迹
28
端到端方案
UniAD · VAD · 端到端架构 · 联合优化 · 可解释性
端到端UniAD
29
工程实践
数据管线 · 训练框架 · 日志可视化 · 实验管理 · 模型版本
工程MLOps
30
前沿与未来趋势
Occupancy · OccFormer · 世界模型 · NeRF+BEV · 大模型
前沿趋势