2. 风控数据全景:来源、类型与生命周期
风控系统的核心燃料是数据。要优化风控数据质量,首先必须建立完整的数据全景视图。本章从数据来源、数据类型和数据生命周期三个维度,构建风控数据的全局地图。
2.1 风控数据来源
风控数据按来源可分为三类:内部数据、外部数据和三方数据。每类数据在风控决策中扮演不同角色,其质量特征也各有差异。
| 来源类别 | 典型数据 | 质量优势 | 质量风险 |
|---|---|---|---|
| 内部数据 | 用户注册信息、交易流水、还款记录、客服工单 | 可控性高、时效性好、字段完整 | 数据孤岛、口径不统一、历史数据缺失 |
| 外部数据 | 央行征信、工商信息、司法涉诉、税务数据 | 权威性高、覆盖面广、标准化程度高 | 更新延迟、接口不稳定、获取成本高 |
| 三方数据 | 多头借贷、设备指纹、社交画像、电商消费 | 维度丰富、实时性强、补充性强 | 数据合规风险、质量参差不齐、供应商依赖 |
沙盘推演提示:在风控数据质量优化项目中,内部数据是"基本盘",外部数据是"压舱石",三方数据是"放大器"。优先治理内部数据,再逐步扩展至外部和三方数据。
2.2 数据类型:结构化、半结构化、非结构化
风控数据按结构特征可分为三种类型,不同类型的数据在存储、处理和质量评估上存在显著差异。
- 结构化数据:以关系型数据库表形式存储,如用户年龄、贷款金额、逾期天数。字段固定、格式统一,质量评估指标明确(完整性、准确性、唯一性)。
- 半结构化数据:包含标签或标记,但结构灵活,如 JSON 格式的征信报告、XML 格式的银行流水。字段可扩展,质量评估需关注嵌套层级和字段缺失。
- 非结构化数据:无预定义数据模型,如身份证照片、通话录音、客服聊天记录。质量评估依赖内容理解,需借助 OCR、NLP 等技术提取特征。
关键认知:风控数据质量优化的难点往往不在结构化数据,而在半结构化和非结构化数据的治理。例如,一份 PDF 格式的银行流水,可能因扫描质量、表格格式差异导致关键字段提取失败。
2.3 数据生命周期
风控数据从产生到退役经历完整的生命周期,每个阶段都存在数据质量风险。理解生命周期有助于精准定位质量问题的根因。
- 数据采集:从用户输入、系统日志、API 接口等渠道获取原始数据。常见质量问题:字段缺失、格式错误、重复采集。
- 数据存储:将数据写入数据库、数据湖或文件系统。常见质量问题:编码不一致、字段截断、分区错误。
- 数据清洗:对原始数据进行去重、纠错、格式转换。常见质量问题:清洗规则过严导致数据丢失、规则过松导致脏数据残留。
- 数据加工:通过 ETL 或特征工程生成风控指标。常见质量问题:计算逻辑错误、聚合口径不一致、衍生字段偏差。
- 数据使用:风控模型、规则引擎、报表系统调用数据。常见质量问题:数据延迟、版本不一致、权限越界。
- 数据归档/退役:历史数据迁移至冷存储或删除。常见质量问题:归档策略不合理导致查询困难、合规风险。
常见误区:很多团队只关注"数据清洗"阶段的质量问题,而忽略了采集和加工阶段。实际上,60% 以上的数据质量问题根因在采集阶段(如前端校验缺失、接口字段映射错误)。
2.4 数据来源与类型的交叉矩阵
在实际风控场景中,数据来源和数据类型交叉组合,形成不同的数据治理单元。以下矩阵展示了常见组合及其典型质量挑战。
| 来源 \ 类型 | 结构化 | 半结构化 | 非结构化 |
|---|---|---|---|
| 内部数据 | 用户信息表(字段缺失) | 客服日志 JSON(嵌套层级混乱) | 通话录音(语音识别准确率低) |
| 外部数据 | 央行征信报告(更新延迟) | 工商信息 XML(字段映射错误) | 法院判决书 PDF(OCR 识别失败) |
| 三方数据 | 多头借贷记录(数据重复) | 设备指纹 JSON(字段缺失) | 社交头像(内容合规风险) |
沙盘推演任务:请根据你所在业务场景,从上述矩阵中选取 3 个"高优先级治理单元",并说明选择理由。例如:"内部数据 + 结构化 → 用户信息表,因为字段缺失直接影响授信决策准确性。"