VIP10
本课程属于：088-VLM与VLA多模态智能驾驶工程 智能汽车与新能源汽车工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

驾驶视觉语言模型训练与微调工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=驾驶视觉语言模型的定义 · 发展历程 · 应用场景与课程学习路线图
课程导入目标=驾驶视觉语…
02
驾驶场景基础
目标=自动驾驶感知任务 · 多模态数据特点 · 视觉语言模型在驾驶中的价值与挑战
驾驶场景基础目标=自动驾驶感…
03
视觉语言模型核心架构
目标=Transformer · ViT · CLIP
视觉语言模型核心…Transformer
04
驾驶多模态数据工程
目标=数据采集 · 标注规范 · 数据清洗
驾驶多模态数据工…目标=数据采集
05
视觉编码器训练与微调
目标=CNN与ViT骨干网络 · 预训练策略 · 领域自适应与特征对齐技术
视觉编码器训练微调
06
语言模型基础与驾驶领域适配
目标=LLM原理 · 词嵌入 · 指令微调
语言模型基础驾驶领域适配
07
跨模态对齐与融合
目标=对比学习 · 注意力融合 · Q-Former
跨模态对齐融合
08
预训练任务设计
目标=图文匹配 · 图像描述 · 视觉问答
预训练任务设计目标=图文匹配
09
指令微调数据构建
目标=驾驶指令模板 · 多轮对话 · 场景描述
指令微调数据构建目标=驾驶指令模…
10
监督微调（SFT）实战
目标=全参数微调 · LoRA · QLoRA
SFT监督微调
11
基于人类反馈的强化学习（RLHF）
目标=奖励模型 · PPO · DPO在驾驶VLM中的应用与安全对齐
RLHF基于人类反馈的强…
12
驾驶场景视觉问答（VQA）
目标=数据集 · 模型设计 · 评估指标与典型VQA任务实战
VQA驾驶场景视觉问答
13
驾驶场景图像描述与报告生成
目标=描述生成 · 场景理解 · 异常事件报告与可解释性输出
驾驶场景图像描述报告生成
14
驾驶决策与规划中的VLM
目标=端到端驾驶 · 语言引导决策 · 轨迹预测与VLM结合方法
VLM驾驶决策
15
多任务学习与统一框架
目标=多任务损失设计 · 任务平衡 · 共享表示与驾驶多任务VLM实战
多任务学习统一框架
16
模型评估与基准
目标=驾驶VLM评测指标 · 公开基准 · 鲁棒性
模型评估基准
17
模型压缩与推理优化
目标=量化 · 剪枝 · 蒸馏
模型压缩推理优化
18
分布式训练与工程化
目标=数据并行 · 模型并行 · 混合精度
分布式训练工程化
19
实验管理与版本控制
目标=实验跟踪 · 超参数调优 · 模型版本管理
实验管理版本控制
20
仿真环境与闭环测试
目标=CARLA · SUMO等仿真平台 · VLM闭环测试
仿真环境闭环测试
21
真实车辆部署与边缘计算
目标=车载计算平台 · 实时性要求 · 功耗约束与VLM轻量化部署案例
真实车辆部署边缘计算
22
安全、伦理与法规
目标=功能安全 · 预期功能安全 · 数据隐私
安全伦理
23
常见问题与调试技巧
目标=训练不收敛 · 过拟合 · 模态崩溃
常见问题调试技巧
24
案例实战一
目标=构建驾驶场景图像描述系统 · 从数据到部署的完整流程
案例实战一目标=构建驾驶场…
25
案例实战二
目标=驾驶视觉问答系统微调 · 基于LLaVA或BLIP-2的领域适…
案例实战二目标=驾驶视觉问…
26
案例实战三
目标=端到端驾驶决策VLM · 融合语言指令与视觉感知的规划输出
案例实战三VLM
27
案例实战四
目标=多模态数据增强与合成数据生成 · 提升长尾场景性能
案例实战四目标=多模态数据…
28
前沿进展与论文精读
目标=最新驾驶VLM · 多模态大模型 · 世界模型与具身智能结合
前沿进展论文精读
29
综合项目
目标=设计并训练一个驾驶VLM · 完成指定任务并撰写技术报告
综合项目VLM
30
课程总结与职业发展
目标=知识体系回顾 · 工程能力提升路径 · 行业趋势与学习资源推荐
课程总结职业发展