VIP20
本课程属于：040-化合物生成模型批次质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Transformer采样策略调优与批次稳定性实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Transformer解码机制基础
自回归生成与采样概述
Transformer解码机制基础
02
温度参数（Temperature）调节原理与效果
温度参数（Temperature）调节原… · 核心概念 · 实践要点
Temperature温度参数
03
Top-k采样
原理 · 优缺点与调优
Top-k采样
04
Top-p（Nucleus）采样
原理与动态截断
Top-pNucleus
05
Temperature与Top-k/Top-p的组合策略
Temperature与Top-k/To… · 核心概念 · 实践要点
TemperatureTop-k/Top-p
06
Beam Search基础
宽度 · 长度惩罚与重复惩罚
BeamSearch
07
Beam Search vs 采样
何时选择何种策略
BeamSearch
08
重复惩罚与多样性增强
Repetition Penalty · No Repeat Ngram
重复惩罚多样性增强
09
采样策略的随机性与可复现性控制
采样策略的随机性与可复现性控制 · 核心概念 · 实践要点
采样策略的随机性可复现性控制
10
批次生成的稳定性问题
out-of-memory与填充效率
批次生成的稳定性…out-of-memor…
11
Pad Token与Attention Mask的正确使用
Pad Token与Attention… · 核心概念 · 实践要点
PadToken
12
动态批处理（Dynamic Batching）实现与调优
动态批处理（Dynamic Batchi… · 核心概念 · 实践要点
DynamicBatching
13
梯度累积（Gradient Accumulation）对批次稳定性的影响
梯度累积（Gradient Accumu… · 核心概念 · 实践要点
GradientAccumulation
14
混合精度训练（AMP）与批次大小的关系
混合精度训练（AMP）与批次大小的关系 · 核心概念 · 实践要点
AMP混合精度训练
15
分布式数据并行（DDP）中的采样一致性
分布式数据并行（DDP）中的采样一致性 · 核心概念 · 实践要点
DDP分布式数据并行
16
批次内样本长度差异引起的效率问题（Padding浪费）
批次内样本长度差异引起的效率问题（Pad… · 核心概念 · 实践要点
Padding批次内样本长度差…
17
长度分桶（Length Bucketing）策略
长度分桶（Length Bucketin… · 核心概念 · 实践要点
LengthBucketing
18
采样策略对批次内生成时间一致性的影响
采样策略对批次内生成时间一致性的影响 · 核心概念 · 实践要点
采样策略对批次内…重点
19
缓存（KV Cache）管理对批次稳定性的影响
缓存（KV Cache）管理对批次稳定性… · 核心概念 · 实践要点
KVCache
20
推理引擎（vLLM, TensorRT-LLM）中的采样与批次优化
推理引擎（vLLM · 核心概念 · 实践要点
vLLMTensorRT-LLM
21
采样策略的超参数搜索
贝叶斯优化与网格搜索
采样策略的超参数…贝叶斯优化
22
评估指标
生成质量（BLEU · ROUGE · Perplexity）与采样策略关系
评估指标BLEU
23
束搜索中的多样性采样（Diverse Beam Search）
束搜索中的多样性采样（Diverse B… · 核心概念 · 实践要点
DiverseBeam
24
对比搜索（Contrastive Search）原理与实践
对比搜索（Contrastive Sea… · 核心概念 · 实践要点
ContrastiveSearch
25
采样策略的在线自适应调整（Adaptive Sampling）
采样策略的在线自适应调整（Adaptiv… · 核心概念 · 实践要点
AdaptiveSampling
26
对约束生成（Guided Generation）的采样影响
对约束生成（Guided Generat… · 核心概念 · 实践要点
GuidedGeneration
27
批次稳定性调试
OOM · NaN · 梯度爆炸排查
批次稳定性调试OOM
28
生产环境下的采样与批次配置最佳实践
生产环境下的采样与批次配置最佳实践 · 核心概念 · 实践要点
生产环境下的采样批次配置最佳实践
29
多GPU/多节点下的采样策略同步问题
多GPU/多节点下的采样策略同步问题 · 核心概念 · 实践要点
GPU多节点下的采样策…
30
未来趋势
Speculative Sampli… · Medusa等新兴方法
未来趋势Speculative