2. 交易数据基础：交易流水字段解析与数据清洗要点

交易流水是异常识别与人群切片的核心原材料。字段的完整性与准确性直接决定后续模型效果。本节从字段语义、清洗规则、预处理流程三个层面展开，帮助分析师建立标准化的数据基础操作规范。

2.1 交易流水核心字段解析

一条完整的交易流水通常包含以下五类字段，每类字段在异常识别中承担不同角色：

字段类别	典型字段	异常识别价值
时间	交易时间戳（精确到秒）、时区	识别凌晨交易、高频短时交易、节假日异常
金额	交易金额、币种、手续费	发现整数金额、临界金额、金额突增
渠道	支付方式（网银/快捷/扫码）、商户号、终端类型	定位渠道集中度、渠道切换异常
IP	客户端IP、代理IP、IP归属地	检测异地登录、IP跳变、代理IP聚集
设备指纹	设备ID、UA、屏幕分辨率、安装应用列表	识别模拟器、设备农场、设备篡改

2.2 字段级清洗与预处理要点

原始交易流水通常存在缺失、重复、格式不一致、异常值等问题。以下按字段类别给出标准化清洗规则：

2.2.1 时间字段清洗

• 格式统一： 强制转换为 YYYY-MM-DD HH:mm:ss 格式，时区统一为 UTC+8。
• 异常值处理： 剔除时间戳为 NULL、1970-01-01 或 2099-12-31 的记录。
• 衍生特征： 提取小时、星期、是否为节假日、距上次交易间隔（秒）。

2.2.2 金额字段清洗

• 范围校验： 金额 > 0 且 < 单笔上限（如 500 万），超出视为异常。
• 精度处理： 保留两位小数，四舍五入；币种统一折算为人民币（CNY）。
• 特殊标记： 整数金额（如 10000.00）、临界金额（如 49999.99）需打标供后续分析。

2.2.3 渠道字段清洗

• 标准化： 将“微信支付”、“WeChat Pay”、“wxpay”统一为“微信支付”。
• 缺失处理： 渠道为空时，根据商户号映射补全；无法映射则标记为“未知渠道”。

2.2.4 IP 字段清洗

• 格式校验： 使用正则 ^(\d{1,3}\.){3}\d{1,3}$ 过滤非法 IP。
• 内网排除： 剔除 10.x.x.x、172.16-31.x.x、192.168.x.x 等内网 IP。
• 归属地解析： 关联 IP 库，生成省份、城市、运营商字段。

2.2.5 设备指纹字段清洗

• 去重： 同一设备ID在极短时间内出现多次，保留首条。
• 模拟器检测： 根据 UA 关键字（如 “Emulator”、“BlueStacks”）或设备型号列表标记模拟器。
• 缺失处理： 设备ID为空时，使用 IP+UA 的哈希值作为临时指纹。

2.3 数据清洗预处理流程

标准预处理流程分为五个步骤，建议在数据仓库或流处理引擎中固化执行：

1. 字段解析与类型转换 — 将时间戳转为 datetime，金额转为 decimal(18,2)，IP 转为字符串。
2. 缺失值处理 — 按字段策略填充或标记，不轻易删除行。
3. 异常值过滤 — 剔除明显错误数据（如金额为负、时间在未来）。
4. 重复记录去重 — 基于交易流水号+时间+金额三字段联合去重。
5. 衍生特征生成 — 计算间隔、频次、聚合统计量，为后续切片分析做准备。

2.4 清洗后数据质量评估指标

每次清洗完成后，建议输出以下质量报告，确保数据可用性：

指标	计算方式	合格标准
完整率	非空记录数 / 总记录数	≥ 99%
唯一率	去重后记录数 / 去重前记录数	≥ 95%
格式正确率	格式校验通过数 / 总记录数	≥ 99.5%
异常值占比	被过滤异常记录数 / 总记录数	≤ 2%

2.5 字段解析与清洗的代码示例

以下 Python 代码展示了核心字段的清洗逻辑，可直接嵌入数据预处理管道：

import pandas as pd
import re
from datetime import datetime

def clean_transaction_data(df):
    # 1. 时间字段清洗
    df['trans_time'] = pd.to_datetime(df['trans_time'], errors='coerce')
    df = df[(df['trans_time'] > '2020-01-01') & (df['trans_time'] < datetime.now())]

    # 2. 金额字段清洗
    df['amount'] = pd.to_numeric(df['amount'], errors='coerce')
    df = df[(df['amount'] > 0) & (df['amount'] < 5000000)]

    # 3. IP 字段清洗
    ip_pattern = r'^(\d{1,3}\.){3}\d{1,3}$'
    df = df[df['client_ip'].str.match(ip_pattern, na=False)]

    # 4. 设备指纹缺失标记
    df['device_id_missing'] = df['device_id'].isna().astype(int)

    # 5. 衍生特征：交易间隔
    df = df.sort_values(['user_id', 'trans_time'])
    df['time_since_last_txn'] = df.groupby('user_id')['trans_time'].diff().dt.total_seconds()

    return df

2.6 字段关系与异常信号矩阵

不同字段之间的组合关系往往比单字段更能揭示异常。以下矩阵展示了常见异常模式对应的字段组合：