4. 数据清洗与脱敏：敏感字段识别、正则表达式过滤、数据脱敏算法

数据清洗与脱敏，说白了就是给遥测数据“洗澡”和“打码”。

我刚开始做遥测系统那会儿，总觉得数据进来直接存就完事了。直到有一次，一个客户的遥测日志里不小心把员工的社保号给传上来了……嗯，从那以后，我再也不敢跳过这一步了。

4.1 敏感字段识别：先得知道哪些数据不能裸奔

你想想看，遥测数据里到底藏了哪些“雷”？

我个人习惯把敏感字段分成三类：

我在项目中遇到过最坑的一次——某个传感器上报的 JSON 里，嵌套了一个 user_info 对象，里面连用户的银行卡后四位都带上了。要不是清洗规则提前拦截，这数据一旦流出，后果不堪设想。

4.2 正则表达式过滤：用模式匹配“抓”出敏感数据

识别出敏感字段后，怎么精准地抓到它们？正则表达式（Regex）是首选武器。

说白了，正则就是一套“字符串匹配的暗号”。我给你列几个遥测场景里最常用的：

• 手机号匹配：1[3-9]\d{9} —— 匹配中国大陆 11 位手机号
• 身份证号匹配：\d{17}[\dXx] —— 匹配 18 位身份证（简化版）
• 邮箱匹配：[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}
• IP 地址匹配：(?:(?:25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d\d?)
• Token/Key 匹配：[A-Za-z0-9_-]{20,40} —— 匹配常见的 API Key 格式

我曾经见过一个团队，一条正则写了 200 多个字符，结果上线第一天就把正常数据里的“2019年”误判成了身份证号……嗯，拆开写，别偷懒。

4.3 数据脱敏算法：掩码与泛化

抓到敏感数据后，不能直接扔掉（很多场景还需要保留统计价值）。这时候就要上脱敏算法了。

我个人最常用的就两种：掩码和泛化。

4.3.1 掩码 (Masking)

掩码，就是保留部分信息，把其余部分用特殊字符替换。最常见的例子：手机号显示成 138****1234。

我一般按字段类型定掩码规则：

4.3.2 泛化 (Generalization)

泛化，就是把精确值模糊成一个范围或类别。这在遥测数据分析里特别实用。

举个例子：

• 精确年龄 28 → 泛化为 25-30 或 青年
• 精确 GPS 坐标 (39.9042, 116.4074) → 泛化为 北京市 或 华北地区
• 精确时间戳 2024-03-15 14:23:45 → 泛化为 2024-03-15 14:00 或 2024年3月

我在项目中遇到过这样一个场景：业务方需要分析用户的地理分布，但又不能暴露具体地址。我们就把 GPS 坐标泛化到“城市”级别，既满足了分析需求，又保住了隐私。说白了，泛化的核心就是“在数据可用性和隐私保护之间找平衡”。

4.4 整体流程：一张图说清楚

下面这张图，是我自己项目里一直在用的清洗脱敏流程。你照着搭，基本不会出大问题。

4.5 代码实战：一个完整的清洗脱敏示例

光说不练假把式。下面这个 Python 示例，是我在项目里实际用过的简化版。你拿过去改改就能用。

import re
import json

# 敏感字段正则规则库
SENSITIVE_RULES = {
    'phone': re.compile(r'1[3-9]\d{9}'),
    'id_card': re.compile(r'\d{17}[\dXx]'),
    'email': re.compile(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'),
    'ip': re.compile(r'(?:(?:25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d\d?)')
}

# 掩码函数
def mask_phone(value):
    return re.sub(r'(\d{3})\d{4}(\d{4})', r'\1****\2', value)

def mask_id_card(value):
    return re.sub(r'(\d{6})\d{8}(\d{4})', r'\1********\2', value)

def mask_email(value):
    parts = value.split('@')
    if len(parts[0]) >= 2:
        masked_local = parts[0][0] + '****' + parts[0][-1]
    else:
        masked_local = parts[0][0] + '****'
    return masked_local + '@' + parts[1]

# 泛化函数
def generalize_ip(value):
    parts = value.split('.')
    return '.'.join(parts[:2]) + '.*.*'

# 清洗主函数
def clean_telemetry(data):
    if isinstance(data, str):
        for field, pattern in SENSITIVE_RULES.items():
            if pattern.search(data):
                if field == 'phone':
                    data = mask_phone(data)
                elif field == 'id_card':
                    data = mask_id_card(data)
                elif field == 'email':
                    data = mask_email(data)
                elif field == 'ip':
                    data = generalize_ip(data)
    elif isinstance(data, dict):
        for key, value in data.items():
            data[key] = clean_telemetry(value)
    elif isinstance(data, list):
        data = [clean_telemetry(item) for item in data]
    return data

# 示例遥测数据
raw_data = {
    "device_id": "SN-20240315",
    "user_phone": "13812345678",
    "user_email": "zhangsan@example.com",
    "client_ip": "192.168.1.100",
    "location": {
        "lat": 39.9042,
        "lng": 116.4074
    }
}

cleaned_data = clean_telemetry(raw_data)
print(json.dumps(cleaned_data, indent=2, ensure_ascii=False))

{
  "device_id": "SN-20240315",
  "user_phone": "138****5678",
  "user_email": "z****n@example.com",
  "client_ip": "192.168.*.*",
  "location": {
    "lat": 39.9042,
    "lng": 116.4074
  }
}

4.6 避坑指南：我曾经踩过的三个坑

• 坑一：正则写得太“贪婪”。 我曾经用 .* 匹配一段日志，结果把整个 JSON 结构体都吞了。后来我养成了习惯——能用 + 不用 *，能用字符集不用 .。
• 坑二：掩码后忘了校验。 有一次掩码逻辑写错了，把 13812345678 变成了 138****678（少了一位）。数据下游直接报错。现在我的代码里，掩码后一定会做长度校验。
• 坑三：泛化粒度太粗。 业务方要分析“城市级”数据，我直接泛化到了“省级”。结果被业务方投诉说数据没法用。嗯，从那以后，我每次定泛化规则前，都会先和业务方对齐需求。