VIP20
本课程属于：049-蛋白质组学特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Transformer模型从头测序从入门到实战教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Transformer简介
背景 · 优势 · 应用领域与经典论文回顾
Transformer简介
02
序列到序列模型基础
RNN · LSTM · GRU的原理与局限
序列到序列模型基…RNN
03
注意力机制入门
Bahdanau Attention…
注意力机制入门Bahdanau
04
自注意力机制
QKV向量 · 注意力分数计算与加权求和
自注意力机制QKV
05
多头注意力机制
多组QKV并行计算 · 拼接与线性变换
多头注意力机制QKV
06
位置编码
为什么需要位置信息 · 正弦位置编码公式与实现
位置编码为什么需要位置信…
07
层归一化与批归一化
原理区别 · 在Transformer中的使用
层归一化批归一化
08
残差连接与Dropout
缓解梯度消失 · 防止过拟合
Dropout残差连接
09
Transformer编码器完整结构
自注意力+前馈网络+Add&Norm
Transformer编码器完整结构
10
Transformer解码器完整结构
Masked自注意力+交叉注意力
Transformer解码器完整结构
11
Transformer完整架构
Encoder-Decoder整体流…
Transformer完整架构
12
Transformer训练准备
数据预处理 · Padding与Masking
Transformer训练准备
13
Transformer损失函数与评估指标
交叉熵 · BLEU · ROUGE
Transformer损失函数
14
从零实现Transformer（上）
PyTorch搭建编码器模块
Transformer从零实现
15
从零实现Transformer（下）
PyTorch搭建解码器与完整模型
Transformer从零实现
16
训练Transformer
学习率预热 · Adam优化器 · 标签平滑
Transformer训练
17
Transformer在机器翻译中的实战
IWSLT数据集训练
Transformer机器翻译
18
BERT模型
双向编码器 · MLM与NSP预训练任务
BERT模型
19
GPT模型
自回归语言模型 · 单向掩码原理
GPT模型
20
T5模型
Text-to-Text统一框架与S…
T5模型
21
Vision Transformer（ViT）
图像分块 · Patch Embedding
VisionTransformer
22
Swin Transformer
层级式架构 · Shifted Window Att…
SwinTransformer
23
Hugging Face Transformers库速览
Pipeline与AutoModel
HuggingFace
24
文本分类实战
用BERT微调IMDb情感分析
文本分类实战BERT
25
命名实体识别实战
用BERT+CRF进行实体抽取
命名实体识别实战BERT+CRF
26
问答系统实战
用BERT SQuAD数据集训练
问答系统实战BERT
27
文本生成实战
用GPT-2生成故事/代码
文本生成实战GPT-2
28
Transformer模型轻量化
量化 · 剪枝 · 知识蒸馏
Transformer模型轻量化
29
分布式训练Transformer
数据并行 · 模型并行 · ZeRO优化
Transformer分布式训练
30
Transformer前沿进展
MLP-Mixer · Perceiver · Linear Attention
Transformer前沿进展