VIP20
本课程属于：054-数据令牌化SDK接入改造 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Tokenization基础入门与核心原理教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
什么是Tokenization
定义 · 作用和意义
Tokenization什么是
02
Tokenization在NLP中的位置
从文本到模型输入的流程
TokenizationNLP
03
词级别分词
空格分词 · 标点分词
词级别分词空格分词
04
中文分词的基本概念
基于词典 · 基于统计
文分词的基本概念基于词典
05
基于规则的分词
最大匹配法（正向 · 逆向 · 双向）
基于规则的分词最大匹配法
06
基于统计的分词
隐马尔可夫模型（HMM）
基于统计的分词HMM
07
基于统计的分词
条件随机场（CRF）
基于统计的分词CRF
08
基于统计的分词
N-gram语言模型
基于统计的分词N-gram
09
分词工具介绍
jieba分词的原理与使用
分词工具介绍jieba
10
分词工具介绍
THULAC · LTP · HanLP等
分词工具介绍THULAC
11
子词分词（Subword Tokenization）
为什么需要子词
SubwordTokenization
12
BPE（Byte Pair Encoding）算法原理。
BPE（Byte Pair Encodi… · 核心概念 · 实践要点
BPEByte
13
BPE的实现与变体（中的BPE）。
BPE的实现与变体（中的BPE… · 核心概念 · 实践要点
BPE
14
WordPiece算法原理（BERT中使用的）。
WordPiece算法原理（BERT中使… · 核心概念 · 实践要点
WordPieceBERT
15
Unigram Language Model分词原理（SentencePiece
Unigram Language Mod… · 核心概念 · 实践要点
UnigramLanguage
16
SentencePiece工具的使用与配置。
SentencePiece工具的使用与配… · 核心概念 · 实践要点
SentencePiec…工具的使用
17
融合多种分词策略
Hugging Face …
融合多种分词策略Hugging
18
Tokenizer的训练与保存（Hugging Face Tokenizers）
Tokenizer的训练与保存（Hugg… · 核心概念 · 实践要点
TokenizerHugging
19
特殊
[CLS] · [SEP] · [PAD]
特殊
20
词汇表（Vocabulary）的构建与管理。
词汇表（Vocabulary）的构建与管… · 核心概念 · 实践要点
Vocabulary词汇表
21
分词器的编码与解码过程（encode、decode、tokenize）。
分词器的编码与解码过程（encode · 核心概念 · 实践要点
encodedecode
22
分词的性能评估
OOV率 · 压缩率 · 分词速度
分词的性能评估OOV
23
文本预处理与Tokenizer的配合（清洗、规范化）。
文本预处理与Tokenizer的配合（清… · 核心概念 · 实践要点
Tokenizer文本预处理
24
多语言分词的特点与挑战。
多语言分词的特点与挑战 · 核心概念 · 实践要点
多语言分词的特点挑战
25
代码分词（Code Tokenization）
用于代码模型（如 · CodeBERT）
CodeTokenization
26
视觉与多模态中的Tokenization（ViT的patch embedding
视觉与多模态中的Tokenization… · 核心概念 · 实践要点
TokenizationViT
27
大规模预训练模型中的Tokenizer选择（ BERT vs T5）
大规模预训练模型中的Tokenizer选… · 核心概念 · 实践要点
Tokenizer
28
自定义Tokenizer
根据任务调整分词粒度
Tokenizer自定义
29
Tokenization的常见陷阱与错误（标点、空格、编码问题）。
Tokenization的常见陷阱与错误… · 核心概念 · 实践要点
Tokenization的常见陷阱
30
未来趋势
字符级模型 · 字节级模型（ByT5 · CANINE）
未来趋势字符级模型