VIP20
本课程属于：006-应用密码改造密钥边界蓝图 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Tokenization令牌化实战教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
什么是 Tokenization
基本概念 · 为什么需要 Tokenization · Tokenization 在 NLP…
Tokenization什么是
02
最简单的分词方法
基于空格的分词 · 基于标点符号的分词 · 局限性分析
最简单的分词方法基于空格的分词
03
基于规则的分词
使用正则表达式进行单词/子词切分 · 自定义规则实践
基于规则的分词使用正则表达式进…
04
中文分词简介
基于字典的最大匹配算法（正向/逆向） · 分词歧义处理
文分词简介基于字典的最大匹…
05
BPE（Byte Pair Encoding）算法原理
统计频率合并 · 子词词典构建 · 编码解码过程
BPEByte
06
BPE 实战
使用 Python 从零实现 BPE… · 数据准备与训练
BPEPython
07
WordPiece 算法原理
与 BPE 的区别 · 基于似然增益的合并策略 · BERT 中的应用
WordPiece算法原理
08
SentencePiece 算法原理
端到端分词框架 · 直接处理原始文本 · 无需预分词
SentencePiec…算法原理
09
Unigram 语言模型分词
基于概率模型的子词选择 · EM 算法训练
Unigram语言模型分词
10
Hugging Face Tokenizers 库入门
pip 安装 · 加载预训练分词器 · 快速分词示例
HuggingFace
11
训练自定义 BPE 分词器
使用 Hugging Face 框架 · 设置词汇表大小 · 保存与加载
BPE训练自定义
12
训练 WordPiece 分词器
配置参数 · 训练过程监控 · 与 BPE 效果对比
WordPiece训练
13
训练 SentencePiece 模型
命令行工具使用 · 模型类型选择（bpe/unigram… · 输出格式
SentencePiec…训练
14
Tokenization 的编码与解码
tokenize() · convert_tokens_to_… · decode() 详解
Tokenization的编码
15
特殊 的应用
[CLS] · [SEP] · [PAD]
特殊
16
未登录词（OOV）处理策略
UNK 替换 · 回退到字符级 · 动态扩充词汇表
OOV未登录词
17
多语言 Tokenization 挑战
跨语言共享子词 · 混合语言文本 · SentencePiece 的优势
Tokenization多语言
18
子词切分 vs 词干提取 vs 词形还原
三种粒度的区别与适用场景
vs子词切分
19
Tokenization 在机器翻译中的应用
长句子切分 · 注意力对齐 · BLEU 影响
Tokenization机器翻译
20
Tokenization 在文本分类中的应用
输入长度限制 · 截断策略 · 对比实验
Tokenization文本分类
21
Tokenization 的效率优化
批量编码 · 缓存 · 混合精度支持
Tokenization的效率优化
22
Tokenization 与词嵌入的关系
子词嵌入 · 位置编码 · 跨语言共享表示
Tokenization词嵌入的关系
23
主流预训练模型 Tokenization 对比
· BERT · T5
Tokenization主流预训练模型
24
从头实现 BPE 算法（完整代码）
数据预处理 · 统计频率 · 合并循环
BPE从头实现
25
评估 Tokenization 效果
压缩率（字符/） · 词汇表大小 · 覆盖率
Tokenization评估
26
Tokenization 在序列标注任务中的边界问题
切片不对齐 · span 标注 · 对齐策略
Tokenization序列标注任务
27
Tokenization 在生成任务中的一致性
贪婪解码 vs 束搜索 · 重复惩罚 · 温度控制
Tokenization生成任务
28
常见 Tokenization 陷阱
空格处理 · 大小写敏感 · Unicode 规范化
Tokenization常见
29
Tokenization 调试与可视化
打印 序列 · 高亮子词边界 · 分析分词结果
Tokenization调试
30
未来趋势
端到端学习中的可微分 Tokeniz… · 动态词汇表 · 多粒度融合技术
未来趋势Tokeniz