2. 风控数据全景:来源、类型与生命周期

风控系统的核心燃料是数据。要优化风控数据质量,首先必须建立完整的数据全景视图。本章从数据来源、数据类型和数据生命周期三个维度,构建风控数据的全局地图。

2.1 风控数据来源

风控数据按来源可分为三类:内部数据、外部数据和三方数据。每类数据在风控决策中扮演不同角色,其质量特征也各有差异。

来源类别 典型数据 质量优势 质量风险
内部数据 用户注册信息、交易流水、还款记录、客服工单 可控性高、时效性好、字段完整 数据孤岛、口径不统一、历史数据缺失
外部数据 央行征信、工商信息、司法涉诉、税务数据 权威性高、覆盖面广、标准化程度高 更新延迟、接口不稳定、获取成本高
三方数据 多头借贷、设备指纹、社交画像、电商消费 维度丰富、实时性强、补充性强 数据合规风险、质量参差不齐、供应商依赖
沙盘推演提示:在风控数据质量优化项目中,内部数据是"基本盘",外部数据是"压舱石",三方数据是"放大器"。优先治理内部数据,再逐步扩展至外部和三方数据。

2.2 数据类型:结构化、半结构化、非结构化

风控数据按结构特征可分为三种类型,不同类型的数据在存储、处理和质量评估上存在显著差异。

  • 结构化数据:以关系型数据库表形式存储,如用户年龄、贷款金额、逾期天数。字段固定、格式统一,质量评估指标明确(完整性、准确性、唯一性)。
  • 半结构化数据:包含标签或标记,但结构灵活,如 JSON 格式的征信报告、XML 格式的银行流水。字段可扩展,质量评估需关注嵌套层级和字段缺失。
  • 非结构化数据:无预定义数据模型,如身份证照片、通话录音、客服聊天记录。质量评估依赖内容理解,需借助 OCR、NLP 等技术提取特征。
关键认知:风控数据质量优化的难点往往不在结构化数据,而在半结构化和非结构化数据的治理。例如,一份 PDF 格式的银行流水,可能因扫描质量、表格格式差异导致关键字段提取失败。
风控数据类型与质量特征 结构化数据 关系型表 / CSV 字段固定 · 格式统一 质量:完整性/准确性 半结构化数据 JSON / XML / 日志 字段可扩展 · 嵌套结构 质量:字段缺失/层级 非结构化数据 图片 / 音频 / 文本 无预定义模型 质量:OCR/NLP提取 数据治理优先级 结构化 → 半结构化 → 非结构化,逐步推进,避免一次性覆盖所有类型 质量维度示例 完整性 · 准确性 一致性 · 唯一性 质量维度示例 字段缺失 · 嵌套层级 格式合规 · 时效性 质量维度示例 内容可读性 特征提取准确率

2.3 数据生命周期

风控数据从产生到退役经历完整的生命周期,每个阶段都存在数据质量风险。理解生命周期有助于精准定位质量问题的根因。

  1. 数据采集:从用户输入、系统日志、API 接口等渠道获取原始数据。常见质量问题:字段缺失、格式错误、重复采集。
  2. 数据存储:将数据写入数据库、数据湖或文件系统。常见质量问题:编码不一致、字段截断、分区错误。
  3. 数据清洗:对原始数据进行去重、纠错、格式转换。常见质量问题:清洗规则过严导致数据丢失、规则过松导致脏数据残留。
  4. 数据加工:通过 ETL 或特征工程生成风控指标。常见质量问题:计算逻辑错误、聚合口径不一致、衍生字段偏差。
  5. 数据使用:风控模型、规则引擎、报表系统调用数据。常见质量问题:数据延迟、版本不一致、权限越界。
  6. 数据归档/退役:历史数据迁移至冷存储或删除。常见质量问题:归档策略不合理导致查询困难、合规风险。
常见误区:很多团队只关注"数据清洗"阶段的质量问题,而忽略了采集和加工阶段。实际上,60% 以上的数据质量问题根因在采集阶段(如前端校验缺失、接口字段映射错误)。
风控数据生命周期与质量风险 采集 字段缺失 格式错误 存储 编码不一致 字段截断 清洗 规则过严 脏数据残留 加工 计算逻辑错误 口径不一致 使用 数据延迟 版本不一致 归档 策略不合理 合规风险 质量优化策略:全生命周期覆盖,前置预防优于事后修复 在采集阶段建立校验规则,在加工阶段统一口径,在使用阶段监控延迟 前置预防 采集端校验 接口字段映射检查 过程监控 ETL 日志告警 数据质量看板 事后复盘 质量问题根因分析 治理效果评估

2.4 数据来源与类型的交叉矩阵

在实际风控场景中,数据来源和数据类型交叉组合,形成不同的数据治理单元。以下矩阵展示了常见组合及其典型质量挑战。

来源 \ 类型 结构化 半结构化 非结构化
内部数据 用户信息表(字段缺失) 客服日志 JSON(嵌套层级混乱) 通话录音(语音识别准确率低)
外部数据 央行征信报告(更新延迟) 工商信息 XML(字段映射错误) 法院判决书 PDF(OCR 识别失败)
三方数据 多头借贷记录(数据重复) 设备指纹 JSON(字段缺失) 社交头像(内容合规风险)
沙盘推演任务:请根据你所在业务场景,从上述矩阵中选取 3 个"高优先级治理单元",并说明选择理由。例如:"内部数据 + 结构化 → 用户信息表,因为字段缺失直接影响授信决策准确性。"