VIP10
本课程属于：088-VLM与VLA多模态智能驾驶工程 智能汽车与新能源汽车工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

自动驾驶VLM多模态理解与场景推理工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=自动驾驶VLM多模态理解与场景… · 核心概念 · 整体框架与产业价值
课程导入VLM
02
自动驾驶感知基础
目标=传感器类型 · 坐标系 · 标定
自动驾驶感知基础目标=传感器类型
03
多模态学习入门
目标=视觉 · 激光雷达 · 毫米波雷达
多模态学习入门目标=视觉
04
VLM基础原理
目标=视觉编码器 · 语言模型 · 跨模态注意力
VLM基础原理
05
自动驾驶场景理解任务
目标=目标检测 · 语义分割 · 车道线识别
自动驾驶场景理解…目标=目标检测
06
场景推理核心概念
目标=因果推理 · 常识推理 · 时空推理
场景推理核心概念目标=因果推理
07
数据工程与标注体系
目标=多模态数据采集 · 清洗 · 标注规范
数据工程标注体系
08
视觉Tokenizer与特征表示
目标=图像分块 · 视觉嵌入 · 3D点云化
Tokenizer视觉
09
跨模态对齐方法
目标=对比学习 · CLIP式预训练 · 图文对齐
跨模态对齐方法目标=对比学习
10
多模态融合架构
目标=早期融合 · 中期融合 · 晚期融合
多模态融合架构目标=早期融合
11
VLM训练流程
目标=预训练 · 指令微调 · 对齐微调
VLM训练流程
12
提示工程与上下文学习
目标=驾驶场景Prompt设计 · 少样本示例 · 思维链与结构化输出
提示工程上下文学习
13
场景推理方法
目标=场景图构建 · 时空图神经网络 · 神经符号推理与知识图谱增强
场景推理方法目标=场景图构建
14
轨迹预测与决策接口
目标=VLM输出到规划控制 · 意图识别 · 行为预测
轨迹预测决策接口
15
仿真与闭环测试
目标=CARLA · nuPlan · Waymo Open Dataset
仿真闭环测试
16
评测体系与基准
目标=多模态理解评测 · 场景推理基准 · 鲁棒性
评测体系基准
17
案例实战一
目标=基于VLM的交通信号灯与标志理…
案例实战一VLM
18
案例实战二
目标=多模态融合的弱势道路使用者检测…
案例实战二目标=多模态融合…
19
案例实战三
目标=复杂路口场景图生成与交互推理
案例实战三目标=复杂路口场…
20
案例实战四
目标=恶劣天气与夜间场景的多模态鲁棒…
案例实战四目标=恶劣天气
21
案例实战五
目标=端到端VLM驾驶策略与自然语言…
案例实战五VLM
22
工程化部署
目标=模型压缩 · 量化 · 蒸馏
工程化部署目标=模型压缩
23
数据闭环与持续学习
目标=影子模式 · 难例回传 · 自动标注
数据闭环持续学习
24
安全、伦理与合规
目标=功能安全 · 预期功能安全 · 可解释性
安全伦理
25
常见问题与调试
目标=模态缺失 · 对齐失败 · 幻觉
常见问题调试
26
前沿进展
目标= · LLaVA · Qwen-VL
前沿进展
27
综合项目一
目标=设计多模态场景理解与推理系统架…
综合项目一目标=设计多模态…
28
综合项目二
目标=构建驾驶场景VLM指令数据集与…
综合项目二VLM
29
综合项目三
目标=完成仿真环境下的闭环评测与报告…
综合项目三目标=完成仿真环…
30
课程总结与提升
目标=知识体系回顾 · 能力自评 · 学习路线与职业发展建议
课程总结提升