📚 课程目录第4章 Python数据脱敏实战

4. Python数据脱敏实战：用Faker和Pandas搞定字段级脱敏

数据脱敏这事儿，说白了就是给敏感数据“化妆”。你不能让真实姓名、身份证号、手机号这些信息直接暴露在测试环境或分析报表里。我做了这么多年数据安全，见过太多因为脱敏没做好导致的泄露事故。嗯，今天我们就来动手实战，用Python把这件事做得既专业又高效。

核心思路：先用Faker库生成逼真的模拟数据，再用Pandas对真实数据进行字段级脱敏。两条腿走路，既保护了隐私，又不影响业务测试和分析。

4.1 为什么需要Faker + Pandas这套组合？

你可能会问：直接写个随机函数不就行了？我刚开始也这么想。但后来发现，随机出来的数据要么格式不对，要么语义不通。比如随机生成的“姓名”可能是“张三李四”这种四不像，手机号可能不符合号段规则。

Faker库就是专门解决这个问题的。它能生成各种符合语言习惯的假数据——中文姓名、身份证号、地址、邮箱，甚至公司名。而Pandas，则是我们做字段级脱敏的瑞士军刀。

工具	核心能力	适用场景
Faker	生成逼真的模拟数据	测试数据构造、脱敏替换源
Pandas	字段级脱敏操作（掩码、替换、泛化）	真实数据集的处理与转换

4.2 先搞定Faker：生成你的第一份模拟数据

安装很简单，一行命令搞定：

pip install faker

然后我们来生成一些中文模拟数据。我个人习惯先创建一个Faker实例，指定locale为中文：

from faker import Faker

fake = Faker('zh_CN')

# 生成一条完整的人员信息
person = {
    'name': fake.name(),
    'phone': fake.phone_number(),
    'id_card': fake.ssn(),
    'email': fake.email(),
    'address': fake.address(),
    'company': fake.company()
}

print(person)
# 输出示例：
# {'name': '李伟', 'phone': '13812345678', 'id_card': '110101199001011234', 
#  'email': 'liwei@example.com', 'address': '北京市朝阳区...', 'company': '某某科技有限公司'}

小技巧：Faker生成的身份证号（ssn）是符合校验规则的，可以直接用于测试。但注意，它不会和真实身份证号重复，这点可以放心。

批量生成也很简单。比如我要生成100条测试用户数据：

import pandas as pd

fake_data = []
for _ in range(100):
    fake_data.append({
        'name': fake.name(),
        'phone': fake.phone_number(),
        'id_card': fake.ssn(),
        'email': fake.email(),
        'address': fake.address()
    })

df_fake = pd.DataFrame(fake_data)
print(df_fake.head())

4.3 Pandas字段级脱敏：三种核心手法

现在进入正题。假设我们有一份真实的用户数据表，包含姓名、手机号、身份证号、邮箱和地址。我们需要对这些字段进行脱敏处理。我总结了三种最常用的手法：掩码、替换、泛化。

4.3.1 掩码（Masking）—— 保留部分信息，隐藏关键部分

掩码是最直观的脱敏方式。比如手机号，只显示前3位和后4位，中间用星号代替。身份证号则只显示前6位和后4位。

import pandas as pd

# 假设这是真实数据
data = {
    'name': ['张三', '李四', '王五'],
    'phone': ['13812345678', '15987654321', '17766668888'],
    'id_card': ['110101199001011234', '320102198512153456', '440301199803077890'],
    'email': ['zhangsan@example.com', 'lisi@test.com', 'wangwu@demo.org'],
    'address': ['北京市海淀区中关村大街1号', '上海市浦东新区陆家嘴环路2号', '广州市天河区体育西路3号']
}
df = pd.DataFrame(data)

# 手机号掩码：保留前3后4
df['phone_masked'] = df['phone'].apply(lambda x: x[:3] + '****' + x[-4:])

# 身份证号掩码：保留前6后4
df['id_card_masked'] = df['id_card'].apply(lambda x: x[:6] + '********' + x[-4:])

# 邮箱掩码：用户名部分只保留首字母
df['email_masked'] = df['email'].apply(lambda x: x[0] + '***@' + x.split('@')[1])

print(df[['name', 'phone_masked', 'id_card_masked', 'email_masked']])

输出结果：

  name phone_masked    id_card_masked       email_masked
0  张三  138****5678  110101********1234  z***@example.com
1  李四  159****4321  320102********3456  l***@test.com
2  王五  177****8888  440301********7890  w***@demo.org

注意：掩码不是万能的。如果攻击者知道你的掩码规则，结合其他数据可能反推出原始信息。比如手机号前3位是号段，后4位是唯一标识，中间4位其实只有1万种组合。所以对于高敏感字段，我建议用替换或泛化。

4.3.2 替换（Substitution）—— 用假数据替换真数据

替换就是直接用Faker生成的模拟数据替换真实数据。这种方式最彻底，因为原始信息完全消失了。我在项目中经常用这种方式处理测试环境的数据。

from faker import Faker
fake = Faker('zh_CN')

# 为每个字段生成替换映射
name_map = {name: fake.name() for name in df['name'].unique()}
phone_map = {phone: fake.phone_number() for phone in df['phone'].unique()}
id_map = {id_card: fake.ssn() for id_card in df['id_card'].unique()}

# 应用替换
df['name_replaced'] = df['name'].map(name_map)
df['phone_replaced'] = df['phone'].map(phone_map)
df['id_card_replaced'] = df['id_card'].map(id_map)

print(df[['name', 'name_replaced', 'phone', 'phone_replaced']])

避坑指南：我曾经犯过一个错误——直接对每个单元格单独调用fake.name()，结果同一个“张三”被替换成了不同的假名，导致数据关联性丢失。正确的做法是先建立映射字典，保证同一个原始值映射到同一个假值。

4.3.3 泛化（Generalization）—— 降低数据精度

泛化适合地址、年龄、收入这类字段。比如地址只保留到城市级别，年龄只保留年龄段。这样既保留了统计价值，又隐藏了精确位置。

# 地址泛化：只保留省份和城市
def generalize_address(addr):
    # 简单处理：取前两个字符作为省份，再取到"市"或"区"
    parts = addr.split('市')
    if len(parts) > 1:
        return parts[0] + '市'
    parts = addr.split('区')
    if len(parts) > 1:
        return parts[0] + '区'
    return addr[:3] + '***'

df['address_generalized'] = df['address'].apply(generalize_address)

# 年龄泛化（假设有年龄字段）
# df['age_group'] = pd.cut(df['age'], bins=[0, 18, 30, 45, 60, 100], 
#                          labels=['0-18', '19-30', '31-45', '46-60', '60+'])

print(df[['address', 'address_generalized']])

输出：

                           address        address_generalized
0  北京市海淀区中关村大街1号              北京市
1  上海市浦东新区陆家嘴环路2号            上海市
2  广州市天河区体育西路3号              广州市

4.4 实战：完整的数据脱敏流程

下面我把三种手法整合到一个完整的流程中。假设我们要处理一份CSV格式的用户数据：

import pandas as pd
from faker import Faker
import hashlib

def desensitize_data(input_file, output_file):
    """
    完整的数据脱敏流程
    """
    # 1. 读取原始数据
    df = pd.read_csv(input_file)
    fake = Faker('zh_CN')
    
    # 2. 建立替换映射（保证一致性）
    name_map = {name: fake.name() for name in df['name'].unique()}
    phone_map = {phone: fake.phone_number() for phone in df['phone'].unique()}
    id_map = {id_card: fake.ssn() for id_card in df['id_card'].unique()}
    
    # 3. 应用脱敏
    df['name'] = df['name'].map(name_map)
    df['phone'] = df['phone'].apply(lambda x: x[:3] + '****' + x[-4:])
    df['id_card'] = df['id_card'].map(id_map)
    df['email'] = df['email'].apply(lambda x: x[0] + '***@' + x.split('@')[1])
    df['address'] = df['address'].apply(lambda x: x.split('市')[0] + '市' if '市' in x else x[:3])
    
    # 4. 保存脱敏后的数据
    df.to_csv(output_file, index=False)
    print(f"脱敏完成，已保存至：{output_file}")
    
    return df

# 执行脱敏
df_desensitized = desensitize_data('user_data.csv', 'user_data_desensitized.csv')

关键原则：脱敏后的数据必须满足两个条件——不可逆（无法从脱敏结果反推出原始值）和一致性（同一个原始值在不同地方脱敏后结果相同）。前者靠算法保证，后者靠映射字典保证。

4.5 知识体系总览

下面这张图总结了本章的核心知识结构，你可以对照着回顾一下：

4.6 避坑总结

最后，我把自己踩过的坑整理成清单，你写代码时对照着检查：

映射一致性：替换时一定要用字典映射，不要对每个单元格单独生成随机值。否则数据关联性会断裂。
掩码长度：掩码后的字段长度要和原始字段一致，否则下游系统可能报错。比如手机号必须是11位。
泛化粒度：地址泛化到城市级别就够了，不要泛化到省份，那样统计价值太低。
不可逆验证：脱敏后试着从结果反推原始值，如果能推出来，说明脱敏强度不够。
备份原始数据：脱敏操作前一定要备份原始数据。我曾经手滑覆盖了原始文件，还好有备份。

重要提醒：脱敏不是加密。脱敏后的数据是不可逆的，而加密后的数据可以用密钥解密。不要把脱敏和加密混为一谈。如果业务需要还原原始数据，请使用加密方案。

好了，这一章的内容就到这里。Faker和Pandas的组合拳，足够应对大部分数据脱敏场景。你可以在自己的项目中试试看，先从掩码开始，逐步加入替换和泛化。记住，脱敏的目标是让数据“可用但不可见”。