所属分类：视觉图像与光学光电 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

CLIP与BLIP视觉语言模型训练

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 视觉语言模型的发展历程与核心应用场景

课程导入学习目标

视觉语言基础

图像表示 · 文本表示 · 多模态对齐的基本概念与常用数据集（如…

视觉语言基础图像表示

对比学习原理

对比损失函数 · 正负样本构造 · 温度系数的作用

对比学习原理对比损失函数

CLIP模型架构

双塔结构 · 图像编码器（ResNet/ViT） · 文本编码器（Transformer）…

CLIP模型架构

CLIP训练策略

大规模图文对数据收集 · 数据清洗 · 训练超参数设置

CLIP训练策略

CLIP的Zero-shot迁移

如何利用CLIP进行图像分类 · 检索 · 图文匹配等任务

CLIP的局限与改进

数据偏差 · 细粒度理解不足 · 计算资源需求

BLIP模型架构

编码器-解码器结构 · 视觉Transformer · 文本编码器与解码器的融合方式

BLIP模型架构

BLIP的训练目标

ITC（Image-Text Con… · ITM（Image-Text Mat… · LM（Language Modeli…

BLIP的训练目标

BLIP的数据增强

CapFilt方法 · 生成合成标题与过滤噪声数据 · 提升训练数据质量

BLIP的数据增强

BLIP的推理与微调

图像描述生成 · 视觉问答（VQA） · 图文检索等下游任务的微调流程

BLIP与CLIP对比

架构差异 · 训练目标差异 · 性能对比

BLIP-2与Q-Former

轻量级查询Transformer的设… · 冻结预训练模型 · 高效训练策略

InstructBLIP与指令微调

基于指令的视觉语言模型微调方法 · 以及多任务学习

InstructBLIP指令微调

视觉语言模型评估指标

R@K · BLEU · CIDEr

视觉语言模型评估…R@K

实战环境搭建

Python环境 · PyTorch · HuggingFace Transf…

实战环境搭建Python

使用预训练CLIP进行图像分类与检索 · 处理数据 · 计算相似度

CLIP使用预训练

CLIP的Prompt工程 · 并实现自动prompt搜索

从零训练一个小型CLIP模型 · 模型定义 · 训练循环

CLIP从零训练一个小型

使用BLIP进行图像描述生成 · 输入图像 · 生成文本

BLIP的微调——以VQA为例 · 模型修改 · 训练脚本

BLIP的CapFilt数据增强实现 · 过滤噪声 · 对比训练效果

BLIP-2的部署与推理 · 并实现零样本分类

BLIP-2的部署

常见问题与调试

显存不足 · 训练不收敛 · 过拟合

常见问题调试

模型压缩与加速

量化 · 剪枝 · 知识蒸馏在CLIP/BLIP中的应用

模型压缩加速

多模态大模型前沿

从CLIP/BLIP到LLaVA · MiniGPT-4等 · 理解视觉语言模型的发展趋势

多模态大模型前沿CLIP/BLIP

构建一个图文检索系统 · 索引构建 · 查询与排序

综合项目构建一个图文检索…

设计一个视觉问答系统 · 实现端到端问答

综合项目设计一个视觉问答…

对比CLIP与BLIP在多个任务上的… · 撰写分析报告并优化模型

综合项目CLIP

课程总结与进阶路径

核心知识点回顾 · 常见面试题解析 · 推荐与开源项目

课程总结进阶路径