Tokenization 原理：令牌化 vs 加密 vs 掩码

做脱敏这么多年，我遇到过不少团队在「用什么技术」上吵得不可开交。有人觉得加密最安全，有人嫌掩码太简单，还有人压根分不清令牌化和加密到底差在哪。

这一章咱们就掰开揉碎，把三个主流方案放在一起对比。你会看到它们的本质区别、各自的优劣势，以及在实际审计日志场景里该怎么选。

三个方案的核心做什么

先搞清楚各自的目标——

• 令牌化（Tokenization）：用无意义的令牌替换敏感数据，原始值存在安全保险柜里，令牌本身不可逆向。
• 加密（Encryption）：用密钥和算法把明文变成密文，只要有密钥就能还原回去。
• 掩码（Masking）：部分遮盖敏感字符，比如身份证号只显示前6后4位，剩下打星号。

你想想看，它们的本质区别其实就一句话：令牌化是替换，加密是变换，掩码是隐藏。我刚开始做数据安全时，总觉得加密就是万能药，后来吃到苦头才明白——场景不同，选型差很多。

详细拆解：令牌化

令牌化的工作流程很简单：原始数据发到令牌服务器（ Vault），服务器生成一个随机字符串（令牌），并保存一份令牌↔原始值的映射表。应用层拿到的是令牌，原始数据永远锁在保险柜里。

# 伪代码：令牌化过程
def tokenize(sensitive_value, vault):
     = generate_random_()
    vault.store(sensitive_value, )   # 映射表
    return 

这里有个坑——令牌不能通过算法逆推。它不像加密那样有密钥，令牌本身不包含任何原始信息。我几年前在某金融项目里就犯过这个错：为了图方便直接用 hash 加盐当令牌，结果攻击者通过彩虹表撞出了好几张信用卡号……嗯，后来全改了。

加密：对称与非对称的取舍

加密大家应该不陌生。对称加密（如 AES）速度快，但密钥管理是最大噩梦。我在一个日志系统里见过把密钥硬编码在代码里的——结果日志被拖库，所有密文都没用了。非对称加密（如 RSA）密钥分离，但性能差，不适合大批量日志字段。

实际项目中，很多团队会用字段级加密，比如对邮箱、手机号单独加密。但这种做法有个致命问题：密文不可检索。审计日志经常需要按用户ID模糊搜索，加密后就只能全量解密再搜，性能没法看。

from cryptography.fernet import Fernet

key = Fernet.generate_key()
cipher = Fernet(key)
encrypted = cipher.encrypt(b"user@example.com")
# 密文是二进制，不能直接做 LIKE 查询

掩码：简单但不彻底

掩码是成本最低的方案，前端展示时遮住部分字符就够了。但我得说，掩码防不住内部人员。我曾经在代码评审时发现有人把完整手机号先掩码打印到日志里，又因为排查问题临时取消了掩码规则，结果敏感信息就漏出去了。

审计日志里掩码一般只用于展示层，存储层还是得用令牌化或加密。否则一旦日志被批量导出，掩码规则形同虚设。

一图读懂：三种方案对比

下面这张图把核心维度画出来了，你可以从安全性、可逆性、检索性能、合规成本四个角度做快速判断。

表格：技术选型速查

我把所有关键维度整理成一张表，你在实际评估时可以直接拿来做参考。

维度	令牌化	对称加密	非对称加密	掩码
安全等级	高（无密钥泄露风险）	中（密钥泄漏则全暴露）	高（私钥保护）	低（规则可见即破解）
可逆性	通过Vault授权还原	可逆	可逆	不可逆（但可暴力枚举）
检索能力	强（令牌可建索引）	弱（密文不可索引）	弱	强（明文部分可查）
性能开销	中等（Vault读写）	高（批量加解密）	低	极低（字符串替换）
合规友好度	高（PCI DSS推荐）	中（需额外密钥管理）	中	低（仅展示脱敏）
适用场景	日志脱敏、支付令牌	静态数据加密	小数据量传输	前端页面、打印报告

实战选型建议

我个人习惯用一个简单的决策树来判断：

1. 需要后期还原原始值吗？ → 是 → 加密（但必须做密钥轮换）
2. 需要频繁检索日志字段吗？ → 是 → 令牌化（别犹豫）
3. 只是前端展示脱敏？ → 掩码就够，但存储层仍然建议做令牌化
4. 合规要求很严（PCI、GDPR）？ → 直接上令牌化+Vault，审计人员会给好评

小结

令牌化、加密、掩码，每个方案都有自己的定位。别指望一个方案打天下。审计日志字段脱敏，我最推荐的组合是存储层令牌化 + 展示层掩码：令牌化保证存储安全、支持检索；掩码在界面落盘时再加一道防线，防误操作。