VIP10
本课程属于：088-VLM与VLA多模态智能驾驶工程 智能汽车与新能源汽车工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多摄像头视频语言模型驾驶理解工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=多摄像头视频语言模型驾驶理解工… · 核心概念 · 整体框架与行业应用概览
课程导入目标=多摄像头视…
02
驾驶场景基础
目标=自动驾驶感知任务 · 多摄像头系统 · 视频语言模型的基本定义与常见术语
驾驶场景基础目标=自动驾驶感…
03
多摄像头数据采集与同步
目标=相机标定 · 时间同步 · 空间对齐
多摄像头数据采集同步
04
视频语言模型基础
目标=视觉编码器 · 语言模型 · 跨模态对齐
视频语言模型基础目标=视觉编码器
05
多摄像头特征融合
目标=早期融合 · 中期融合 · 晚期融合
多摄像头特征融合目标=早期融合
06
驾驶理解任务定义
目标=目标检测 · 车道线识别 · 可行驶区域分割
驾驶理解任务定义目标=目标检测
07
视频时序建模
目标=3D卷积 · 时序Transformer · 光流
视频时序建模目标=3D卷积
08
语言模型在驾驶中的应用
目标=指令跟随 · 视觉问答 · 场景描述
语言模型驾驶
09
多摄像头视频语言模型架构
目标=典型网络结构 · 模态融合模块 · 训练目标与损失函数
多摄像头视频语言…目标=典型网络结…
10
数据预处理与增强
目标=视频抽帧 · 分辨率调整 · 数据增强
数据预处理增强
11
模型训练流程
目标=分布式训练 · 混合精度 · 学习率调度
模型训练流程目标=分布式训练
12
评估指标与基准
目标=BLEU · CIDEr · SPICE
评估指标基准
13
多摄像头标定与对齐实战
目标=使用OpenCV与标定工具完成…
多摄像头标定对齐实战
14
视频语言模型微调实战
目标=基于预训练模型在驾驶数据集上进…
视频语言模型微调…目标=基于预训练…
15
多摄像头融合实战
目标=实现BEV特征提取与跨摄像头注…
多摄像头融合实战BEV
16
驾驶场景描述生成实战
目标=构建视频描述模型 · 生成自然语言驾驶场景描述
驾驶场景描述生成…目标=构建视频描…
17
视觉问答与指令跟随实战
目标=实现驾驶场景下的视觉问答与自然…
视觉问答指令跟随实战
18
端到端驾驶理解系统集成
目标=从多摄像头输入到语言输出的完整…
端到端驾驶理解系…目标=从多摄像头…
19
常见问题与调试
目标=数据不同步 · 模态缺失 · 过拟合
常见问题调试
20
模型压缩与加速
目标=量化 · 剪枝 · 知识蒸馏
模型压缩加速
21
多摄像头视频语言模型的可解释性
目标=注意力可视化 · 特征归因与决策解释方法
多摄像头视频语言…目标=注意力可视…
22
安全与鲁棒性
目标=对抗攻击 · 恶劣天气 · 传感器故障与模型不确定性估计
安全鲁棒性
23
仿真与真实数据结合
目标=CARLA · nuScenes · Waymo等数据集的使用与仿真到真实…
仿真真实数据结合
24
多模态大模型前沿
目标=视觉语言模型 · 多摄像头融合 · 驾驶世界模型与具身智能
多模态大模型前沿目标=视觉语言模…
25
项目实战一
目标=基于多摄像头视频语言模型的城市…
项目实战一目标=基于多摄像…
26
项目实战二
目标=高速公路场景下的多摄像头视频描…
项目实战二目标=高速公路场…
27
项目实战三
目标=泊车场景中的多摄像头视觉问答与…
项目实战三目标=泊车场景
28
综合提升
目标=从原型到产品 · 工程化部署 · 持续学习与数据闭环
综合提升目标=从原型到产…
29
课程总结
目标=知识体系回顾 · 核心方法梳理 · 常见陷阱与最佳实践
课程总结目标=知识体系回…
30
未来展望
目标=多摄像头视频语言模型在自动驾驶… · 趋势与研究方向
未来展望目标=多摄像头视…