4. 原始数据层：数据源类型与采集规范
原始数据层是特征分层体系的最底层，直接对接各类数据源。在KYC场景中，数据源的多样性、准确性和合规性决定了上层特征工程的质量上限。本节从数据源类型和数据采集规范两个维度展开，明确原始数据层的构成与治理要求。
4.1 数据源类型
KYC场景下，原始数据层主要包含四类数据源，每类数据源在身份核验、风险识别和持续监控中承担不同角色。
| 数据源类型 | 典型字段 | KYC用途 | 更新频率 |
|---|---|---|---|
| 身份信息 | 姓名、证件号、出生日期、国籍、住址 | 基础身份核验、黑名单匹配 | 低频（开户时采集，变更时更新） |
| 交易流水 | 交易时间、金额、对手方、渠道、IP | 行为画像、异常交易检测 | 高频（实时/准实时） |
| 设备指纹 | 设备ID、操作系统、浏览器指纹、GPS | 设备关联、欺诈团伙识别 | 高频（每次登录/交易） |
| 外部征信 | 征信报告、多头借贷、法院执行、行政处罚 | 信用评估、风险评级 | 中低频（按需查询或定期更新） |
实践要点： 四类数据源在KYC流程中并非孤立使用。身份信息用于“你是谁”，交易流水用于“你做了什么”，设备指纹用于“你在哪里操作”，外部征信用于“你的社会信用如何”。特征分层时，需为每类数据源预留独立的原始数据存储区域，避免跨源污染。
4.2 数据源关系与分层架构
下图展示了四类数据源在原始数据层中的位置及其与上层特征层的关系。原始数据层作为数据湖的入口，所有数据在进入后需经过标准化处理才能进入特征工程管道。
架构说明： 四类数据源在进入原始数据层后，首先经过数据标准化层进行格式统一和字段映射，然后落入原始数据存储层。特征工程管道从存储层读取数据，进行特征分层和衍生。这种分层架构保证了数据源的可追溯性和特征的可复现性。
4.3 数据采集规范
数据采集规范是原始数据层建设的核心约束，直接影响后续特征计算的准确性和一致性。规范覆盖采集方式、字段标准、时效要求和质量监控四个维度。
4.3.1 采集方式与协议
- API实时采集： 适用于交易流水和设备指纹，通过RESTful或gRPC接口实时推送，延迟控制在秒级。
- 批量导入： 适用于身份信息和外部征信，通过SFTP或消息队列定时批量同步，支持T+1或T+0更新。
- SDK埋点： 适用于设备指纹和部分行为数据，通过移动端或Web端SDK自动采集，需经过数据脱敏处理。
- 第三方接口查询： 适用于外部征信，通过授权接口按需查询，需记录查询日志以备审计。
4.3.2 字段标准与命名规范
| 规范维度 | 要求 | 示例 |
|---|---|---|
| 字段命名 | 统一采用snake_case，前缀标识数据源类型 | id_name、txn_amount、device_os、credit_score |
| 数据类型 | 严格定义字段类型，禁止使用字符串存储数值 | 金额使用DECIMAL(18,2)，时间使用TIMESTAMP |
| 缺失值处理 | 明确缺失值标记规则，区分“未知”与“不适用” | NULL表示未知，-1表示不适用，空字符串表示未采集 |
| 枚举值统一 | 所有枚举字段使用统一编码表 | 性别：0-未知，1-男，2-女；渠道：WEB/APP/H5 |
4.3.3 时效性要求
不同数据源对时效性的要求差异显著，需在采集规范中明确分层定义：
- 实时层（秒级）： 交易流水、设备指纹、登录行为。用于实时风控决策，延迟超过5秒需告警。
- 准实时层（分钟级）： 部分外部征信查询结果、用户信息变更。用于近线特征计算。
- 离线层（天级）： 批量征信报告、历史交易汇总、身份信息批量更新。用于离线模型训练和批量评分。
4.3.4 质量监控指标
原始数据层必须建立持续的质量监控机制，以下为关键监控指标：
| 监控指标 | 计算方式 | 告警阈值 |
|---|---|---|
| 数据完整性 | 必填字段缺失率 | > 5% 触发告警 |
| 数据准确性 | 字段格式校验通过率 | < 98% 触发告警 |
| 数据时效性 | 实时数据延迟超过阈值的比例 | > 1% 触发告警 |
| 数据一致性 | 跨源字段逻辑校验（如身份证号与出生日期） | 任何不一致记录均需人工核查 |
常见避坑： 很多团队在原始数据层忽略字段命名规范，导致后续特征工程中频繁出现字段歧义和类型转换错误。建议在数据采集阶段就建立字段元数据注册表，所有字段在入库前必须通过元数据校验。另外，外部征信数据需特别注意查询频率限制和合规授权，避免因采集规范不完善导致法律风险。
4.4 数据采集流程规范
下图展示了从数据源到原始数据存储的完整采集流程，包含采集、校验、标准化和存储四个阶段。
流程要点： 数据采集流程中，格式校验和字段标准化是两个关键质量控制节点。校验失败的数据应退回数据源重新采集，标准化失败的数据需人工介入处理。全流程质量监控应覆盖从数据源接入到存储的每个环节，确保原始数据层的可靠性和可审计性。