2. 坏样本数据采集：数据源识别

坏样本的归因分析首先依赖于高质量、多维度的数据采集。数据源的选择直接决定了后续特征工程与模型训练的上限。本章聚焦于三类核心数据源：内部日志、外部黑名单与第三方数据，并阐述相应的采集策略与合规性要求。

2.1 数据源识别与分类

不同数据源在时效性、覆盖度、准确性和合规成本上存在显著差异。下表对比了三类数据源的关键特性：

2.2 数据采集策略

针对不同数据源，需要制定差异化的采集策略，以确保数据的完整性、时效性与可用性。

2.2.1 内部日志采集策略

• 全量采集 + 增量同步： 对核心业务日志（如支付、登录）进行全量采集，对非核心日志采用增量拉取。
• 结构化与半结构化处理： 将 JSON、Protobuf 等半结构化日志解析为可分析的列式存储格式（如 Parquet）。
• 时间窗口对齐： 确保日志时间戳与业务时间一致，避免因时钟偏差导致归因错位。

2.2.2 外部黑名单采集策略

• 接口轮询与订阅推送： 对高频更新的黑名单（如欺诈设备）采用订阅推送；对低频名单采用定时轮询。
• 本地缓存 + 增量更新： 在本地维护一份黑名单缓存，每日增量同步，降低接口调用延迟。
• 版本管理与回滚： 每次更新保留版本号，便于回滚和追溯误判。

2.2.3 第三方数据采集策略

• API 封装与限流： 对第三方 API 进行统一封装，内置重试、熔断与限流机制。
• 数据质量校验： 采集后立即进行空值率、格式校验、一致性检查，不合格数据进入隔离区。
• 成本控制： 根据用户分层（如高价值用户 vs 长尾用户）设定不同的采集深度与频率。

2.3 数据采集架构

下图展示了一个典型的多源数据采集架构，涵盖内部日志、外部黑名单与第三方数据的采集、缓冲与初步清洗流程。

2.4 数据采集合规性

数据采集必须在法律与监管框架内进行，尤其是涉及个人隐私与敏感信息时。合规性不仅是法律要求，也是数据质量与模型可信度的基础。

2.4.1 核心合规原则

• 最小必要原则： 只采集与坏样本归因直接相关的字段，避免过度收集。
• 告知同意： 在采集用户数据前，必须通过隐私政策或弹窗明确告知采集范围与用途。
• 数据脱敏： 对身份证号、手机号、银行卡号等敏感信息进行脱敏或加密存储。
• 跨境传输限制： 涉及跨境数据采集时，需遵守当地数据出境管理规定（如 GDPR、中国《数据安全法》）。

2.4.2 不同数据源的合规要点

2.5 数据采集质量监控

建立数据采集质量监控体系，确保进入特征工程的数据是可靠且可用的。建议监控以下核心指标：

• 采集成功率： 目标 ≥ 99.9%，低于阈值触发告警。
• 数据延迟： 从事件发生到数据可用的时间差，实时场景应 < 5 秒。
• 空值率与异常值率： 超过历史基线 3 倍标准差时自动隔离。
• 数据一致性： 同一实体在不同数据源中的关键字段（如用户 ID）应能正确关联。