所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

Attention机制与Transformer原理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · 前置知识要求
课程导入学习目标
02
序列建模基础
RNN · LSTM · GRU的原理与局限
序列建模基础RNN
03
注意力机制起源
Bahdanau Attention… · seq2seq中的对齐思想 · 注意力权重的计算方式
注意力机制起源Bahdanau
04
注意力机制核心概念
Query · Key · Value的定义
注意力机制核心概…Query
05
缩放点积注意力
公式推导 · 缩放因子的作用 · 矩阵计算实现
缩放点积注意力公式推导
06
多头注意力机制
多头拆分与合并 · 不同子空间学习 · 头数选择
多头注意力机制多头拆分
07
Transformer整体架构
Encoder-Decoder结构 · 输入嵌入 · 位置编码
Transformer整体架构
08
位置编码
正弦位置编码公式 · 相对位置编码 · 可学习位置编码
位置编码正弦位置编码公式
09
Transformer Encoder详解
多头注意力子层 · 前馈网络子层 · 子层连接顺序
TransformerEncoder
10
Transformer Decoder详解
掩码多头注意力 · 交叉注意力 · 自回归生成
TransformerDecoder
11
掩码机制
Padding Mask与Seque… · 防止未来信息泄露 · 掩码在注意力计算中的实现
掩码机制Padding
12
前馈网络与激活函数
FFN结构 · ReLU/GELU/SwiGLU等激… · 非线性变换的作用
前馈网络激活函数
13
残差连接与层归一化
Pre-LN与Post-LN · 归一化对训练稳定性的影响 · 实现细节
残差连接层归一化
14
Transformer训练技巧
学习率调度（Warmup+Decay… · Adam优化器 · 梯度裁剪
Transformer训练技巧
15
Transformer的复杂度分析
时间与空间复杂度 · 长序列挑战 · 优化方向（稀疏注意力
Transformer的复杂度分析
16
从Transformer到BERT
预训练与微调范式 · Masked Language Mo… · Next Sentence Pred…
TransformerBERT
17
从Transformer到
自回归语言模型 · 生成式预训练 · Prompt与In-Context…
Transformer
18
Transformer变体
Transformer-XL · Longformer · Reformer
Transformer变体
19
高效注意力机制
稀疏注意力 · 局部注意力 · 低秩近似
高效注意力机制稀疏注意力
20
视觉Transformer（ViT）
图像分块 · Patch Embedding · 位置编码
TransformerViT
21
Transformer在多模态中的应用
ViLT · CLIP · Flamingo等
Transformer多模态
22
Attention可视化与解释性
注意力权重可视化 · 注意力头的作用分析 · 可解释性工具与案例
Attention可视化
23
Transformer的常见问题
训练不稳定 · 过拟合 · 推理速度慢
Transformer的常见问题
24
实战项目一
从零实现一个简化版Transform… · 包括数据准备 · 模型构建
实战项目一Transform
25
实战项目二
基于Transformer的机器翻译… · 使用Fairseq或HuggingF… · 完成数据预处理
实战项目二Transformer
26
实战项目三
文本分类与情感分析 · 使用预训练BERT进行微调 · 并对比不同模型效果
实战项目三文本分类
27
实战项目四
文本生成任务 · 使用模型进行故事生成 · 掌握生成策略（温度
实战项目四文本生成任务
28
Transformer的数学基础
矩阵乘法 · 概率论 · 信息论（熵
Transformer的数学基础
29
Transformer的工程实践
模型并行 · 数据并行 · 混合精度训练
Transformer的工程实践
30
课程总结与进阶方向
回顾核心知识点 · 推荐与资源 · 未来趋势（大模型
课程总结进阶方向