所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

多模态大模型微调开发实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多模态大模型的定义 · 发展历程 · 典型应用场景（如视觉问答
课程导入多模态大模型的定…
02
多模态基础
文本 · 图像 · 音频
多模态基础文本
03
多模态大模型架构
主流架构（如Flamingo · LLaVA · Qwen-VL
多模态大模型架构Flamingo
04
微调基础概念
预训练与微调的区别 · 全量微调与参数高效微调（PEFT）的… · 微调的目标与评估指标
微调基础概念预训练
05
环境搭建与工具链
Python环境 · PyTorch · Hugging Face Trans…
环境搭建工具链
06
数据准备与处理
多模态数据集的收集 · 清洗 · 标注格式（如COCO
数据准备处理
07
数据预处理实战
图像缩放/裁剪/归一化 · 文本分词 · 音频特征提取
数据预处理实战图像缩放
08
模型加载与检查
从Hugging Face加载预训练… · 检查模型结构 · 参数量
模型加载检查
09
全量微调实战
以LLaVA为例 · 编写全量微调脚本 · 设置学习率
全量微调实战LLaVA
10
参数高效微调（PEFT）
LoRA · Adapter · Prefix Tuning等方法的原…
PEFT参数高效微调
11
LoRA微调实战
使用PEFT库对Qwen-VL进行L… · 配置rank · alpha
LoRA微调实战
12
指令微调与对话优化
构建指令数据集（如视觉指令 · 多轮对话） · 设计指令模板
指令微调对话优化
13
多模态对齐微调
针对图文对齐 · 跨模态检索等任务 · 设计对比学习损失（如CLIP los…
多模态对齐微调针对图文对齐
14
生成任务微调
针对图像描述 · 视觉问答 · 文本到图像生成等任务
生成任务微调针对图像描述
15
视频理解微调
处理视频数据（帧采样 · 时序建模） · 微调视频-语言模型（如Video-L…
视频理解微调处理视频数据
16
音频-文本微调
利用Whisper或AudioCLI… · 微调音频-文本模型 · 实现语音识别
音频文本微调
17
多任务微调
设计多任务学习框架 · 共享底层特征 · 同时微调多个任务（如分类+生成）
多任务微调设计多任务学习框…
18
训练策略与调优
学习率调度（warmup · 余弦退火） · 梯度累积
训练策略调优
19
评估与验证
设计多模态评估指标（如BLEU · ROUGE · CIDEr
评估验证
20
推理与部署
模型导出（ONNX · TensorRT） · 量化（INT8
推理部署
21
常见问题与调试
显存不足 · 过拟合 · 灾难性遗忘
常见问题调试
22
案例实战
图文问答系统 · 构建一个简单的视觉问答Web应用
案例实战图文问答系统
23
案例实战
图像描述生成：使用BLIP或Git · 微调模型生成高质量图像描述 · 并评估生成质量
案例实战BLIP
24
案例实战
跨模态检索系统：微调CLIP模型 · 实现文本-图像检索 · 并构建检索演示界面
案例实战CLIP
25
案例实战
视频内容理解 · 实现视频片段描述与事件识别 · 处理长视频时序依赖
案例实战视频内容理解
26
案例实战
多模态情感分析：融合文本 · 图像 · 音频特征
案例实战多模态情感分析
27
高级主题
多模态大模型的持续学习 · 增量微调 · 领域自适应
高级主题多模态大模型的持…
28
高级主题
多模态大模型的解释性与可视化 · 使用注意力热图 · 梯度加权等方法分析模型决策
高级主题多模态大模型的解…
29
综合项目
设计一个完整的多模态应用（如智能助手… · 从需求分析 · 数据构建
综合项目设计一个完整的多…
30
课程总结与进阶
回顾核心知识点 · 总结微调最佳实践 · 推荐学习资源（
课程总结进阶