所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

视频语言多模态模型训练

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 视频语言多模态模型的应用前景与挑战
课程导入学习目标
02
多模态基础
文本 · 图像 · 视频
多模态基础文本
03
视频数据理解
视频帧采样 · 光流 · 时序特征
视频数据理解视频帧采样
04
语言模型基础
Transformer架构 · 自注意力机制 · 预训练语言模型（如BERT
语言模型基础Transformer
05
视觉编码器
CNN · ViT · Video Swin Transfo…
视觉编码器CNN
06
视频-语言对齐
对比学习 · 跨模态注意力 · 视频文本匹配（如CLIP
视频语言对齐
07
主流模型架构
从Frozen · VideoBERT到Florence · VideoLLaMA等代表性视频语言…
主流模型架构Frozen
08
训练数据构建
视频-文本数据集的采集 · 清洗 · 标注
训练数据构建视频
09
预训练任务设计
掩码建模 · 对比学习 · 时序预测
预训练任务设计掩码建模
10
微调与适配
针对下游任务（如视频问答 · 视频字幕 · 视频检索）的微调策略和适配器方法
微调适配
11
训练流程实战
从数据加载 · 模型初始化 · 分布式训练到日志监控的完整训练流水线…
训练流程实战从数据加载
12
损失函数与优化
多模态训练中的损失函数设计（如Inf… · 交叉熵 · Focal Loss）及优化器选择
损失函数优化
13
评估指标与基准
视频问答 · 视频字幕 · 视频检索等任务的评估指标（如BLEU
评估指标基准
14
案例实战
基于开源框架（如HuggingFac… · OpenCLIP）训练一个简单的视频…
案例实战HuggingFac
15
案例实战
视频问答（VideoQA）模型的训练… · 包括特征融合和答案生成
案例实战VideoQA
16
案例实战
视频字幕生成（Video Capti… · 使用Transformer解码器
案例实战Video
17
案例实战
零样本视频分类与检索 · 利用预训练模型进行推理和评估
案例实战零样本视频分类
18
多模态融合技术
早期融合 · 晚期融合 · 跨模态注意力
多模态融合技术早期融合
19
时序建模
视频中的时间动态建模 · 如3D卷积 · 时序Transformer
时序建模视频
20
数据增强与正则化
视频裁剪 · 帧率扰动 · 文本同义词替换等增强方法
数据增强正则化
21
大规模训练技巧
混合精度训练 · 梯度累积 · 模型并行
大规模训练技巧混合精度训练
22
模型压缩与部署
知识蒸馏 · 量化 · 剪枝在视频语言模型中的应用
模型压缩部署
23
常见问题与调试
训练不收敛 · 过拟合 · 模态不平衡
常见问题调试
24
多语言与跨文化
多语言视频语言模型 · 跨文化数据集构建及评估的挑战
多语言跨文化
25
视频生成与编辑
视频到文本 · 文本到视频生成模型（如Video D… · Narrator）的训练思路
视频生成编辑
26
伦理与偏见
视频语言模型中的偏见 · 隐私 · 有害内容检测及公平性评估
伦理偏见
27
前沿研究进展
最新解读 · 如VideoLLaMA · InternVideo
前沿研究进展最新解读
28
综合项目
从零构建一个视频问答系统 · 涵盖数据 · 模型
综合项目从零构建一个视频…
29
综合项目
多模态视频检索系统 · 支持文本查询视频和视频查询视频 · 并进行性能优化
综合项目多模态视频检索系…
30
课程总结与进阶路径
核心知识回顾 · 常见误区 · 学习资源推荐及未来研究方向
课程总结进阶路径