VIP7
本课程属于：064-多模态视觉感知与融合 AI智能与边缘计算工程 · 共 7 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

视觉语言模型注意力机制深度剖析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
注意力机制起源
从Seq2Seq到Bahdanau… · 为什么需要注意力
注意力机制起源Seq2Seq
02
经典注意力公式
加性注意力与点积注意力的数学原理与对…
经典注意力公式加性注意力
03
自注意力机制
Transformer的核心 · QKV矩阵的诞生与计算流程
自注意力机制Transformer
04
多头注意力
为什么需要多头？多头如何并行计算并融…
多头注意力为什么需要多头？…
05
位置编码
Transformer为何需要位置编…
位置编码Transformer
06
Cross-Attention
视觉与语言模态如何交互？Decode…
Cross-Attent…Decode
07
视觉特征提取
CNN vs ViT · 图像Patch Embedding与…
视觉特征提取CNN
08
CLIP模型
双塔结构 · 图文对比学习 · 注意力在CLIP中扮演的角色
CLIP模型
09
ViT（Vision Transformer）
图像分类中的纯注意力模型 · 全局感受野的实现
ViTVision
10
DETR
目标检测中的Transformer · 注意力如何替代Anchor与NMS
DETRTransformer
11
视觉语言预训练
Flamingo · BLIP-2等模型如何利用注意力连接…
视觉语言预训练Flamingo
12
注意力可视化
如何可视化Attention Map…
注意力可视化Attention
13
稀疏注意力
Longformer · BigBird · 如何降低注意力的计算复杂度
稀疏注意力Longformer
14
线性注意力
Performer · Linformer · 核方法如何逼近Softmax注意力
线性注意力Performer
15
FlashAttention
IO感知的精确注意力算法 · 加速训练与推理
FlashAttenti…IO
16
因果注意力
自回归生成中的Mask机制 · 为什么不能看到未来
因果注意力Mask
17
KV Cache
推理加速的核心技术 · 注意力中的Key-Value缓存原理
KVCache
18
多模态融合注意力
Late Fusion · Early Fusion与Cross…
多模态融合注意力Late
19
ALBEF与VLMO
视觉语言模型的注意力对齐与共享
ALBEFVLMO
20
注意力中的位置偏差
相对位置编码 · RoPE与ALiBi的演进
注意力位置偏差
21
GQA与MLA
分组查询注意力与多查询注意力 · 推理效率的优化
GQAMLA
22
注意力中的数值稳定性
Softmax溢出 · 梯度消失与LayerNorm的作用
注意力数值稳定性
23
视觉语言模型中的Attention Mask
如何处理不同模态的变长输入
AttentionMask
24
注意力与可解释性
通过注意力定位图像中的物体 · Grad-CAM与Attention…
注意力可解释性
25
MoE与注意力
混合专家模型中的稀疏注意力与Toke…
MoE注意力
26
视频理解中的注意力
TimeSformer与Video… · 时空注意力的设计
视频理解注意力
27
注意力中的信息瓶颈
VIB与Attention的融合 · 如何让注意力更鲁棒
注意力信息瓶颈
28
量化与剪枝
注意力头的剪枝策略 · 量化对注意力计算的影响
量化剪枝
29
前沿探索
State Space Model与… · Mamba能否取代注意力
前沿探索State
30
实战项目
基于PyTorch实现一个Mini视… · 从零搭建注意力模块
实战项目PyTorch