2. 风控数据基础

在风控体系中,数据不是“越多越好”,而是“越可解释、越可追溯、越可治理越好”。风控数据血缘与指标口径治理之所以困难,根源往往不在工具,而在于对数据本身缺乏结构化认知。本节从风控数据的分类、常见数据源、流转链路、质量要求和典型应用场景五个维度,建立后续血缘与口径治理的认知底座。

一、核心原理:风控数据的四层分类框架

风控数据可按“来源—加工深度—时效—敏感度”四个维度分类。最常用的是按加工深度分层,因为它直接决定了血缘复杂度和口径治理难度。

层级 定义 典型示例 血缘特征
原始层(ODS) 直接接入的业务系统数据,不做业务逻辑加工 订单表、用户表、还款流水 链路短,但字段命名混乱、口径未定义
明细层(DWD) 清洗、去重、标准化后的明细数据 标准化借款申请明细、设备指纹明细 开始出现字段映射与口径约定
汇总层(DWS) 按主题聚合的宽表或轻度汇总 用户近30天申请次数、设备关联账号数 口径集中,血缘分支多,易出现同名不同义
指标层(ADS) 面向应用直接输出的指标或标签 欺诈评分、多头借贷指数、授信通过率 口径必须唯一,血缘需端到端可追溯

除分层外,按时效可分为离线批处理数据与实时流数据;按敏感度可分为个人身份信息、设备信息、行为信息和衍生标签。分类的价值在于:不同层级和类型的数据,其血缘断点、口径冲突和质量校验策略完全不同。

二、常见数据源与接入方式

风控常见数据源可归纳为内部业务数据、外部征信与三方数据、用户行为与设备数据三大类。

  • 内部业务数据:信贷核心系统、支付系统、客服系统、催收系统。通常通过数据库直连或CDC(变更数据捕获)接入。
  • 外部数据:人行征信、百行征信、三方反欺诈、多头借贷、运营商、工商司法等。多以API调用或文件批量交换方式接入。
  • 行为与设备数据:埋点日志、APP启动记录、设备指纹、IP归属、GPS。通常经消息队列(如Kafka)流入实时计算链路。

接入方式直接影响血缘起点。例如,API方式接入的外部数据往往只保留调用日志和返回结果,字段口径依赖供应商文档;而CDC接入的内部数据可以追溯到源库表级甚至字段级。

-- 典型ODS接入配置示例(伪代码)
source:
  type: mysql_cdc
  host: risk-core-db
  tables:
    - loan_apply
    - repay_plan
  target: ods_risk.loan_apply_incr
  schema_mapping:
    apply_id: apply_id
    cust_no: customer_no
    apply_time: apply_time
    amount: apply_amount

三、数据流转链路:从产生到指标输出

风控数据流转通常遵循“采集—接入—加工—服务—应用”五段链路。理解这条链路,是后续做血缘追踪和口径治理的前提。

  1. 采集:业务系统产生数据,或外部接口返回数据。
  2. 接入:通过CDC、API、文件等方式进入数据平台,形成ODS层。
  3. 加工:经ETL/ELT清洗、关联、聚合,形成DWD、DWS层。
  4. 服务:指标或标签写入特征平台、指标平台或决策引擎。
  5. 应用:被规则引擎、评分卡、报表、模型调用。

关键认知:血缘断点最常出现在“接入”和“服务”两段。接入段字段映射不透明,服务段指标被多次复制和改写,导致同一个“逾期率”在不同报表中口径不一致。

下面是一个简化的链路示意,帮助建立端到端视角:

业务系统/外部源 ODS接入 DWD/DWS加工 指标/标签服务 规则/模型/报表 血缘追踪需覆盖每一段的字段映射与口径变更

四、数据质量要求与典型应用场景

风控数据质量通常从六个维度衡量:完整性、准确性、一致性、及时性、唯一性、有效性。其中,一致性和及时性对风控决策影响最大。

  • 完整性:关键字段缺失率需低于阈值,如设备号缺失率超过5%需告警。
  • 准确性:外部数据与内部数据交叉验证,如征信逾期记录与内部还款流水比对。
  • 一致性:同一指标在不同报表中口径必须一致,这是口径治理的核心目标。
  • 及时性:实时风控要求数据延迟在秒级,离线报表可接受T+1。
  • 唯一性:防止同一申请被重复计算,影响通过率和逾期率。
  • 有效性:数据需在合理值域内,如年龄不能为负数。

实践建议:为每个关键指标建立质量校验规则,并纳入调度依赖。质量不达标时,下游指标应阻断输出,而不是“带病上线”。

典型应用场景包括:贷前反欺诈(设备关联、多头借贷)、贷中额度管理(行为评分、还款能力)、贷后催收(失联修复、还款意愿预测)。不同场景对数据时效、口径和血缘追溯的要求差异显著。

常见误区:很多团队只关注指标结果,不记录指标来源和加工逻辑。一旦业务方质疑“为什么这个月逾期率变了”,无法快速定位是数据源变更、口径调整还是真实业务变化。血缘与口径治理的价值,正是在此时体现。

复盘一个真实场景:某机构“首逾率”在报表中为3.2%,在决策引擎中为4.1%。排查发现,报表统计的是“首次逾期且未还款”,决策引擎统计的是“首次逾期含已还款”。同一名称,两种口径,根源在于DWS层加工时未统一过滤条件。解决方式不是改报表,而是在指标层建立唯一口径定义,并向上游血缘追溯,锁定加工节点。

掌握风控数据的分类、来源、链路和质量要求,是后续开展血缘追踪和指标口径治理的前提。只有先看清数据“从哪里来、经过什么加工、到哪里去”,才能在出现口径冲突时快速定位、准确修复。