VIP20
本课程属于：018-云数据态势管理密钥边界蓝图 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据标记化Tokenization应用详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Tokenization概述
什么是Tokenization · 为什么需要它 · 在NLP中的核心地位
Tokenization什么是
02
文本预处理基础
清洗 · 归一化 · Unicode标准化
文本预处理基础清洗
03
基于词的分词（Word Tokenization）
空格 · 标点规则 · NLTK与spaCy实战
WordTokenization
04
基于规则的分词
正则表达式 · 领域特定规则 · 中文分词的特殊挑战
基于规则的分词正则表达式
05
统计分词
基于词典的最大匹配法（正向 · 逆向 · 双向）原理与实现
统计分词基于词典的最大匹…
06
隐马尔可夫模型（HMM）分词
状态设计 · 维特比解码在分词中的应用
HMM隐马尔可夫模型
07
条件随机场（CRF）分词
特征模板 · 序列标注 · CRF++与sklearn-crfs…
CRF条件随机场
08
深度学习分词
BiLSTM-CRF · BertForTokenClassi… · 端到端训练
深度学习分词BiLSTM-CRF
09
子词分词（Subword Tokenization）动机
处理未登录词 · 平衡词与字符粒度
SubwordTokenization
10
Byte-Pair Encoding (BPE) 算法原理
统计高频字节对 · 合并策略 · 词汇表构建
Byte-PairEncoding
11
WordPiece算法
与BPE的区别 · 基于互信息的分割 · BERT中的实现细节
WordPiece算法
12
Unigram Language Model分词
概率模型 · 正则化训练 · SentencePiece的Unig…
UnigramLanguage
13
SentencePiece库
安装 · 训练BPE/Unigram模型 · 跨语言使用与调参
SentencePiec…安装
14
Tokenizer在预训练模型中的应用
BERT Tokenizer · · T5 Tokenizer解析
Tokenizer预训练模型
15
特殊详解
[CLS] · [SEP] · [MASK]
特殊
16
分词后处理
词汇表管理 · 序列截断 · 动态填充
分词后处理词汇表管理
17
多语言Tokenization挑战
共享词汇表 · 混合语言文本 · Unicode双向文本
Tokenization多语言
18
代码Tokenization
针对编程语言的tokenizer · CodeBERT · 的编码方式
Tokenization代码
19
医学文本Tokenization
领域术语 · 缩写 · 数字与单位组合处理
Tokenization医学文本
20
情感分析中的Tokenization
表情符号 · 特殊字符 · 重复标点的保留策略
Tokenization情感分析
21
大规模分布式Tokenization
数据并行 · 缓存机制 · 在线与离线阶段加速
Tokenization大规模分布式
22
Tokenization质量评估指标
OOV率 · 词汇表大小 · 压缩率
Tokenization质量评估指标
23
自定义Tokenizer构建
基于HuggingFace Toke… · 从零训练到集成
Tokenizer自定义
24
Tokenization可视化
BPE合并过程树 · 词汇表分布热力图 · 子词对齐图
Tokenization可视化
25
Tokenization在机器翻译中的应用
子词对齐 · 回译兼容 · 序列到序列的输入编码
Tokenization机器翻译
26
Tokenization在文本生成中的应用
/3的BPE · 控制生成时的边界
Tokenization文本生成
27
Tokenization中的偏差问题
对低资源语言的歧视 · 公平性讨论与缓解方法
Tokenization偏差问题
28
Tokenization未来趋势
端到端字符级模型 · 动态词汇表 · 感知质量的编码
Tokenization未来趋势
29
实践
使用Python从零实现一个简易BP…
PythonBP
30
总结与常见错误
词汇表冲突 · 未知泄露 · 性能陷阱及最佳实践
常见错误词汇表冲突