VIP20
本课程属于：032-数据令牌化接口落地 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

令牌化核心概念与tokenization解析

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Tokenization入门
什么是 · 为什么需要Tokenization
Tokenization
02
文本预处理基础
清洗 · 标准化 · 分词前处理
文本预处理基础清洗
03
基于规则的分词
空格分词 · 标点分词 · 正则分词
基于规则的分词空格分词
04
中文分词挑战与常用工具
jieba · pkuseg · THULAC
文分词挑战常用工具
05
统计分词方法
基于频率 · 互信息 · 条件概率
统计分词方法基于频率
06
Byte Pair Encoding (BPE) 原理与实现。
Byte Pair Encoding (… · 核心概念 · 实践要点
BytePair
07
BPE在系列中的应用。
BPE在系列中的应用 · 核心概念 · 实践要点
BPE
08
WordPiece算法
原理与BERT中的应用
WordPiece算法
09
Unigram语言模型分词算法。
Unigram语言模型分词算法 · 核心概念 · 实践要点
Unigram语言模型分词算法
10
SentencePiece
无监督文本分词器
SentencePiec…无监督文本分词器
11
子词分词的优势与权衡
粒度选择
子词分词的优势权衡
12
Tokenization与词嵌入的关系。
Tokenization与词嵌入的关系 · 核心概念 · 实践要点
Tokenization词嵌入的关系
13
特殊详解
[CLS] · [SEP] · [PAD]
特殊
14
词汇表（Vocabulary）的构建与管理。
词汇表（Vocabulary）的构建与管… · 核心概念 · 实践要点
Vocabulary词汇表
15
编码与解码
将文本转换为 IDs
编码解码
16
Padding与Truncation策略
如何保证批次统一长度
PaddingTruncation
17
注意力掩码（Attention Mask）的作用。
注意力掩码（Attention Mask… · 核心概念 · 实践要点
AttentionMask
18
类型ID（ Type IDs）在句子对任务中的应用。
类型ID（ Type… · 核心概念 · 实践要点
ID
19
HuggingFace Tokenizers库使用入门。
HuggingFace Tokenize… · 核心概念 · 实践要点
HuggingFaceTokenizers
20
从零训练一个BPE分词器。
从零训练一个BPE分词器 · 核心概念 · 实践要点
BPE从零训练一个
21
从零训练一个WordPiece分词器。
从零训练一个WordPiece分词器 · 核心概念 · 实践要点
WordPiece从零训练一个
22
预训练模型中的Tokenizer配置与加载。
预训练模型中的Tokenizer配置与加… · 核心概念 · 实践要点
Tokenizer预训练模型
23
多语言Tokenizer的设计
如何支持多种语言
Tokenizer多语言
24
代码混合文本的分词策略。
代码混合文本的分词策略 · 核心概念 · 实践要点
代码混合文本的分…重点
25
Tokenization对模型性能的影响
实验与案例分析
Tokenization对模型性能的影响
26
常见错误与陷阱
OOV · 分词歧义 · 编码冲突
常见错误陷阱
27
优化Tokenization速度
缓存 · 并行化
Tokenization优化
28
Tokenization与注意力机制
位置编码 vs 相对位置编码
Tokenization注意力机制
29
未来趋势
动态词汇表 · 上下文感知分词
未来趋势动态词汇表
30
综合项目
构建一个自定义Tokenizer并整…
综合项目Tokenizer