4. 数据采集与预处理：实时数据流接入、清洗、标准化与时间窗口对齐

实时风控系统的第一道关卡是数据接入与预处理。原始交易数据通常以毫秒级或秒级的高吞吐量到达，包含大量噪声、缺失字段、格式不一致以及时间戳偏差。本章聚焦于如何构建一个高可靠、低延迟的数据预处理管道，确保后续告警阈值计算与异常检测模型能够基于干净、对齐的数据做出准确判断。

4.1 实时数据流接入：Kafka 与 Flume 的选型与架构

实时风控场景下，数据源通常包括：

• 交易系统：POS、网银、移动支付等渠道的实时交易流水。
• 行为日志：用户登录、设备指纹、页面点击等埋点数据。
• 外部数据：黑名单、IP 信誉库、设备风险评分等第三方接口。

主流接入方案对比：

4.2 数据清洗：去噪、去重与缺失值处理

原始数据流中常见的脏数据包括：

• 格式异常：金额字段包含非数字字符、时间戳格式不统一。
• 重复数据：网络重传或上游系统幂等性不足导致重复消息。
• 缺失字段：关键字段（如用户ID、交易金额、时间戳）为空。
• 边界值：金额为负数、时间戳为未来时间或 1970 年。

清洗策略示例（基于 Flink SQL / Kafka Streams）：

-- 清洗规则示例：过滤无效交易
INSERT INTO clean_transaction_stream
SELECT
    user_id,
    transaction_id,
    CAST(amount AS DECIMAL(18,2)) AS amount,
    TO_TIMESTAMP(timestamp_str, 'yyyy-MM-dd HH:mm:ss') AS event_time,
    merchant_id,
    device_id
FROM raw_transaction_stream
WHERE
    user_id IS NOT NULL
    AND transaction_id IS NOT NULL
    AND amount IS NOT NULL
    AND amount > 0
    AND amount < 1000000  -- 单笔金额上限
    AND timestamp_str IS NOT NULL
    AND timestamp_str RLIKE '^\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}$';

4.3 字段标准化：统一风控语义

不同业务线（如支付、信贷、转账）对同一字段可能有不同命名和格式。标准化是跨场景规则复用的前提。

标准化映射表示例：

4.4 时间窗口对齐：事件时间 vs 处理时间

实时风控中，时间窗口对齐是计算告警阈值（如“1分钟内同一设备交易次数”）的基础。错误的时间对齐会导致误报或漏报。

核心概念：

• 事件时间（Event Time）：交易实际发生的时间，嵌入在数据中。
• 处理时间（Processing Time）：数据到达流处理引擎的系统时间。
• 水位线（Watermark）：用于处理乱序事件的机制，表示“在此时间戳之前的数据已经全部到达”。

时间窗口对齐的典型配置（Flink SQL 示例）：

-- 定义事件时间与水位线
CREATE TABLE transaction_view (
    user_id STRING,
    amount DECIMAL(18,2),
    event_time TIMESTAMP(3),
    WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND  -- 允许5秒乱序
) WITH (
    'connector' = 'kafka',
    'topic' = 'clean_transaction',
    'properties.bootstrap.servers' = 'kafka:9092',
    'format' = 'json'
);

-- 1分钟滚动窗口：统计每个用户每分钟交易次数
SELECT
    user_id,
    TUMBLE_START(event_time, INTERVAL '1' MINUTE) AS window_start,
    TUMBLE_END(event_time, INTERVAL '1' MINUTE) AS window_end,
    COUNT(*) AS txn_count,
    SUM(amount) AS total_amount
FROM transaction_view
GROUP BY
    user_id,
    TUMBLE(event_time, INTERVAL '1' MINUTE);

4.5 数据预处理管道架构总览

下图展示了从原始数据接入到标准化输出的完整预处理管道：

4.6 预处理质量监控指标

为确保预处理管道健康运行，需要建立以下核心监控指标：