VIP20
本课程属于：060-化合物生成模型结果图谱解读 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Transformer注意力权重矩阵图解教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
引言
深度学习中的注意力机制
引言深度学习
02
Transformer架构总览
Transformer架构总览 · 核心概念 · 实践要点
Transformer架构总览
03
自注意力机制原理
自注意力机制原理 · 核心概念 · 实践要点
自注意力机制原理重点
04
Query、Key、Value概念详解
Query、Key、Value概念详解 · 核心概念 · 实践要点
QueryKey
05
注意力权重矩阵的生成
注意力权重矩阵的生成 · 核心概念 · 实践要点
注意力权重矩阵的…重点
06
缩放点积注意力
缩放点积注意力 · 核心概念 · 实践要点
缩放点积注意力重点
07
多头注意力机制
多头注意力机制 · 核心概念 · 实践要点
多头注意力机制重点
08
权重矩阵的可视化方法
权重矩阵的可视化方法 · 核心概念 · 实践要点
权重矩阵的可视化…重点
09
简单示例
一个句子的注意力权重
简单示例一个句子的注意力…
10
使用Python和NumPy实现注意力权重计算
使用Python和NumPy实现注意力权… · 核心概念 · 实践要点
PythonNumPy
11
使用PyTorch实现注意力权重
使用PyTorch实现注意力权重 · 核心概念 · 实践要点
PyTorch使用
12
注意力权重矩阵的形状和维度
注意力权重矩阵的形状和维度 · 核心概念 · 实践要点
注意力权重矩阵的…维度
13
热力图
如何绘制注意力权重矩阵
热力图如何绘制注意力权…
14
使用Matplotlib绘制热力图
使用Matplotlib绘制热力图 · 核心概念 · 实践要点
Matplotlib使用
15
交互式注意力可视化
交互式注意力可视化 · 核心概念 · 实践要点
交互式注意力可视…重点
16
实际案例
机器翻译中的注意力权重
实际案例机器翻译
17
编码器-解码器注意力
编码器-解码器注意力 · 核心概念 · 实践要点
编码器解码器注意力
18
自注意力与交叉注意力
自注意力与交叉注意力 · 核心概念 · 实践要点
自注意力交叉注意力
19
位置编码对注意力权重的影响
位置编码对注意力权重的影响 · 核心概念 · 实践要点
位置编码对注意力…重点
20
注意力掩码
padding mask和futur…
注意力掩码padding
21
稀疏注意力与局部注意力
稀疏注意力与局部注意力 · 核心概念 · 实践要点
稀疏注意力局部注意力
22
权重矩阵的统计特性
权重矩阵的统计特性 · 核心概念 · 实践要点
权重矩阵的统计特…重点
23
可视化多头注意力的模式
可视化多头注意力的模式 · 核心概念 · 实践要点
可视化多头注意力…重点
24
常见注意力变体（如线性注意力、Flash Attention）
常见注意力变体（如线性注意力 · 核心概念 · 实践要点
FlashAttention
25
在BERT中可视化注意力
在BERT中可视化注意力 · 核心概念 · 实践要点
BERT可视化注意力
26
在GPT中可视化注意力
在GPT中可视化注意力 · 核心概念 · 实践要点
GPT可视化注意力
27
使用TensorBoard可视化注意力权重
使用TensorBoard可视化注意力权… · 核心概念 · 实践要点
TensorBoard使用
28
从注意力权重中提取可解释性信息
从注意力权重中提取可解释性信息 · 核心概念 · 实践要点
从注意力权重提取可解释性信息
29
注意力权重的优化与压缩
注意力权重的优化与压缩 · 核心概念 · 实践要点
注意力权重的优化压缩
30
总结与进阶阅读
总结与进阶阅读 · 核心概念 · 实践要点
进阶阅读总结与进阶阅读