2. 样本数据生命周期：从埋点、采集、清洗、加工到模型使用的全链路样本流

在实时风控系统中，样本数据并非天然存在，而是经历了一条从业务端到模型端的完整链路。理解这条生命周期的每个阶段，是构建可靠样本校验体系的前提。任何一个环节的断裂或污染，都会导致模型训练失效、线上误杀或漏过。

2.1 全链路五阶段总览

样本数据生命周期可划分为五个核心阶段：埋点 → 采集 → 清洗 → 加工 → 模型使用。每个阶段都有其特定的数据形态、校验焦点和常见风险。

2.2 阶段一：埋点——数据起源

埋点是样本数据的起点。在实时风控场景中，埋点分为客户端埋点（App/Web）和服务端埋点（API/中间件）。

• 客户端埋点： 采集设备指纹、GPS、点击流、页面停留时长等行为数据。风险：版本兼容性、用户关闭授权导致字段缺失。
• 服务端埋点： 采集请求参数、响应码、处理耗时、风控决策结果。风险：日志框架异步丢失、序列化错误。

2.3 阶段二：采集——传输通道

采集层负责将埋点日志从业务服务器传输到中央存储或流处理引擎。实时风控通常采用 Kafka 作为消息中间件。

采集阶段面临三大校验挑战：

1. 数据丢失： 生产者发送失败、消费者 offset 提交异常。
2. 重复投递： 网络重试导致同一条日志被消费多次。
3. 时序乱序： 不同服务器时钟偏差或网络延迟，导致事件时间戳错乱。

2.4 阶段三：清洗——去噪与标准化

清洗阶段将原始日志转化为可被特征工程消费的“干净数据”。典型清洗操作包括：

• 空值填充： 数值型字段用 -1 或 0 填充，字符型用 "unknown"。
• 类型转换： 时间戳统一为 Unix 毫秒级整数，金额统一为分（整数）。
• 异常值过滤： 剔除 timestamp 超出当前时间 5 分钟的数据、金额为负数的记录。
• 去重： 基于全局 ID 做幂等去重，保留第一条到达的记录。

-- 清洗层 SQL 示例：实时风控日志清洗
CREATE VIEW cleaned_events AS
SELECT
    event_id,
    user_id,
    CAST(event_time AS BIGINT) AS event_time_ms,
    COALESCE(amount, 0) AS amount_cents,
    COALESCE(device_id, 'unknown') AS device_id
FROM raw_events
WHERE event_time IS NOT NULL
  AND event_time BETWEEN (NOW() - INTERVAL '5 minutes') AND NOW()
  AND amount >= 0;

2.5 阶段四：加工——特征与标签的诞生

加工阶段是样本生命周期的核心，它同时产出特征和标签。在实时风控中，加工通常基于 Flink 或 Spark Streaming 完成。

• 特征加工： 滑动窗口聚合（过去 5 分钟登录次数）、比率计算（失败次数/总次数）、序列特征（操作路径编码）。
• 标签加工： 基于业务规则或人工标注，将线上决策结果（如“拦截”、“放行”）转化为二分类标签（0/1）。

2.6 阶段五：模型使用——样本的最终消费

加工完成的样本被写入特征存储（如 Redis、HBase）供线上模型实时预测，同时被导出为训练集用于离线模型迭代。

模型使用阶段的校验要点：

2.7 全链路样本流架构

下图展示了从埋点到模型使用的完整数据流，以及每个环节的校验节点。

2.8 生命周期中的关键校验节点

基于上述架构，每个阶段都需要部署特定的校验规则。以下是在实时流中必须落地的 5 个校验节点：

1. 埋点校验节点： 实时统计 event_id 唯一性，发现重复率 > 0.1% 立即告警。
2. 采集校验节点： 监控 Kafka 消费延迟，延迟 > 30 秒触发降级策略。
3. 清洗校验节点： 计算空值率，单字段空值率 > 5% 阻断下游加工。
4. 加工校验节点： 对每个特征做“时间戳合理性检查”，确保特征时间 <= 当前时间。
5. 模型使用校验节点： 每日对比线上特征分布与训练集特征分布，KS 值 > 0.1 触发重训练。

2.9 样本生命周期的闭环特性

实时风控区别于离线风控的核心在于：样本生命周期是一个持续反馈的闭环。模型使用阶段产生的决策结果（如“拦截”、“人工审核”），经过业务确认后，会作为新样本的标签重新进入加工阶段，更新特征宽表。

这种闭环带来了两个校验挑战：

• 标签延迟： 人工审核可能需要数小时甚至数天才能确认结果，导致样本标签滞后于特征。
• 样本选择偏差： 被模型拦截的样本无法观察到真实结果，造成标签缺失（Missing Not At Random）。