📚 课程目录第3章数据基础与数据治理

3. 数据基础与数据治理

车险动态定价与续保策略的成败，往往不取决于模型有多复杂，而取决于数据底座是否扎实。定价模型吃进去的是“脏数据”，吐出来的就是“错误保费”；续保模型吃进去的是“口径混乱的标签”，输出的就是“误伤的营销名单”。本节围绕车险数据的全生命周期，讲清数据从哪里来、如何清洗、如何加工成特征、如何合规使用，以及如何评估数据质量。

一、核心原理：车险数据的五类来源与三层结构

车险数据可归纳为五类来源：投保端数据（投保人、被保险人、车辆基本信息）、承保端数据（险种、保额、保费、折扣系数）、理赔端数据（出险次数、赔付金额、事故类型、责任比例）、外部数据（交管违章、征信、车辆估值、区域风险地图）、行为数据（UBI 里程、急加速急刹车、夜间行驶占比）。这五类数据在时间维度上构成“承保—理赔—续保”的闭环，在粒度上分为保单级、车辆级、驾驶人级三层。

数据治理的核心原理是“同源同义、可追溯、可审计”。同一指标在不同系统中必须口径一致，例如“出险次数”在理赔系统按“报案次数”统计，在定价系统按“已决赔案次数”统计，若不统一，特征就会失真。因此需要建立指标字典与数据血缘，让每个特征都能回溯到原始字段和加工逻辑。

二、方法流程：从原始表到建模宽表的六步法

数据接入与探查：统计字段空值率、唯一值分布、时间跨度，识别主键与关联键。
清洗与标准化：处理重复保单、缺失值填充、金额单位统一、日期格式对齐、异常值截断。
口径统一：建立指标字典，明确“出险次数”“赔付率”“NCD 系数”等关键指标的计算逻辑。
特征加工：构造统计类、趋势类、交叉类、行为类特征，并做分箱与编码。
隐私合规处理：脱敏、泛化、最小必要采集、授权链路留痕。
质量评估与交付：按完整性、一致性、准确性、及时性、唯一性打分，输出建模宽表。

以下是一段典型的数据清洗与特征加工伪代码，展示从理赔明细聚合到车辆级特征的逻辑：

-- 车辆级出险特征聚合（按保单年度）
SELECT
  vehicle_id,
  policy_year,
  COUNT(DISTINCT claim_id)              AS claim_cnt,
  SUM(paid_amount)                      AS paid_sum,
  MAX(claim_date)                       AS last_claim_date,
  SUM(CASE WHEN liability_ratio > 0.5
           THEN 1 ELSE 0 END)           AS major_fault_cnt
FROM claim_detail
WHERE claim_status = '已决'
  AND claim_date BETWEEN '2023-01-01' AND '2024-12-31'
GROUP BY vehicle_id, policy_year;

-- 缺失值处理：用同车型同年份中位数填充车龄
UPDATE vehicle_feature v
SET car_age = m.median_age
FROM (SELECT model_code, policy_year,
             PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY car_age) AS median_age
      FROM vehicle_feature GROUP BY model_code, policy_year) m
WHERE v.model_code = m.model_code
  AND v.policy_year = m.policy_year
  AND v.car_age IS NULL;

三、案例场景：续保名单中的“脏标签”复盘

某公司续保模型上线后，营销名单中大量客户被标记为“高流失风险”，但实际续保率并未下降。复盘发现：训练标签“是否续保”取自承保系统，而承保系统在保单到期后 30 天才更新状态，导致大量“已续保但未回写”的客户被误标为流失。同时，外部违章数据与车辆 ID 关联时存在一车多码，造成特征错配。

复盘结论：标签定义必须与业务动作时间对齐；关联键必须做唯一性校验；外部数据接入前需做实体对齐（车辆 VIN 标准化、投保人证件号脱敏哈希）。否则再好的算法也会被数据质量问题淹没。

四、数据质量评估清单与常见误区

评估维度	关键问题	检查方法	合格参考
完整性	关键字段缺失率	空值率统计	核心字段缺失 < 5%
一致性	同指标多口径	指标字典比对	口径唯一且可追溯
准确性	金额、日期异常	分位数与业务规则校验	异常值占比 < 1%
及时性	数据回写延迟	时间戳差值监控	标签延迟 < 24 小时
唯一性	一车多码、重复保单	主键去重与实体对齐	重复率 < 0.5%

隐私合规要点：遵循“最小必要”原则采集；敏感字段（证件号、手机号、VIN）入库前脱敏或哈希；外部数据使用需有明确授权与用途限定；建模环境与生产环境隔离，禁止将个人标识直接作为特征。

常见误区包括：把缺失值一律填 0，导致“未出险”与“数据缺失”混淆；把未来信息泄露进特征，如用保单到期后的理赔数据预测续保；忽视数据漂移，用两年前分布训练的模型直接服务当前定价。数据治理不是一次性项目，而是伴随定价与续保策略持续迭代的日常工程。