4. 数据采集与整合
驾驶人画像与出险概率建模的质量，首先取决于数据底座是否完整、干净、合规。车险场景的数据来源天然分散：承保与理赔系统记录“谁买了什么、出过什么事”，外部数据补充“这个人平时怎么生活、怎么开车”，车载设备则提供“每一次行程中车辆如何被操控”。本节围绕三类数据源与一条合规主线，讲清采集口径、整合方法与落地边界。
一、核心原理：三类数据源的互补关系
单一数据源无法刻画驾驶风险的全貌。内部数据回答“历史结果”，外部数据回答“背景特征”，车载数据回答“过程行为”。三者叠加，才能把静态标签升级为动态画像。
- 车险内部数据：投保人信息、被保车辆信息、保单条款、批改记录、理赔案件、赔付金额、责任比例、维修记录、续保与退保行为。核心价值是结果标签，即出险次数、案均赔款、零整比关联车型风险。
- 外部数据：征信与履约记录、驾驶执照与违章记录、车辆登记与过户信息、区域交通与治安数据、气象与道路环境数据、公开的车型安全评级。核心价值是风险先验，用于冷启动和样本外推。
- 车载设备数据：OBD、T-Box、行车记录仪、ADAS、UBI终端采集的里程、急加速、急减速、急转弯、超速时长、夜间行驶占比、疲劳驾驶时长、碰撞信号。核心价值是行为过程，直接反映驾驶风格。
整合目标：以“人—车—保单—案件—行程”为实体主线，建立统一主键（如证件号哈希、车架号、保单号），把三类数据落到同一张宽表或特征库中，形成可复用的驾驶人画像标签体系。
二、方法流程：从采集到可建模特征
- 需求定义与字段盘点：先明确建模目标（如次年出险概率），再反向列出所需字段，避免“先采后想”。
- 采集与接入：内部数据通过数仓或API抽取；外部数据通过合规接口或授权文件导入；车载数据通过车联网平台按行程或按事件流式接入。
- 清洗与标准化：统一时间格式、单位、编码字典；处理缺失、异常、重复；对金额、里程、时长做量纲对齐。
- 实体对齐与去重：以哈希后的证件号、车架号、保单号做多源匹配，解决同一人多个设备、同一车多次过户的问题。
- 特征加工：生成统计特征（近12月出险次数）、行为特征（百公里急刹次数）、交叉特征（夜间高速里程占比）。
- 合规校验与脱敏：在入模前完成授权核验、最小化字段裁剪、敏感字段加密或泛化。
# 车载行程数据聚合示例（伪代码）
trip_features = trips.groupby("driver_id").agg(
total_mileage=("mileage", "sum"),
harsh_brake_per_100km=("harsh_brake_cnt", lambda x: x.sum() / trips["mileage"].sum() * 100),
night_ratio=("night_mileage", "sum") / ("mileage", "sum"),
max_speed=("max_speed", "max")
)
# 与内部理赔标签按 driver_id 左连接
model_table = policy_labels.merge(trip_features, on="driver_id", how="left")三、案例/场景：UBI车险的画像整合
某保险公司推出基于里程的UBI产品。内部数据显示某客户近三年零出险，但外部违章记录显示其有多次超速；车载设备进一步显示其夜间行驶占比高达42%，百公里急减速次数为同车型均值的2.3倍。若仅看内部数据，该客户会被误判为低风险；整合三类数据后，模型将其风险等级上调，并触发差异化定价与安全驾驶提醒。
这个场景说明：内部数据是滞后结果，外部数据是背景约束，车载数据是实时过程。三者缺一，画像就会偏。
| 维度 | 内部数据 | 外部数据 | 车载设备数据 |
|---|---|---|---|
| 典型字段 | 保单、理赔、批改 | 违章、征信、区域 | 里程、急刹、夜间占比 |
| 更新频率 | 低频（月/年） | 中低频 | 高频（行程级） |
| 核心价值 | 结果标签 | 风险先验 | 行为过程 |
| 主要风险 | 样本偏差 | 授权与合规 | 设备覆盖与质量 |
| 合规要点 | 内部授权范围 | 告知同意、来源合法 | 单独同意、最小必要 |
四、数据合规与隐私保护：不可逾越的边界
车险数据涉及个人信息甚至敏感个人信息，合规不是“附加项”，而是采集前的前置条件。核心原则包括：告知同意、最小必要、目的限定、存储期限、安全保障。
- 授权链路完整：外部数据必须有合法来源与用户授权；车载数据需单独同意，不能混在投保条款里“一揽子”勾选。
- 最小必要采集：能用车架号完成匹配的，不采集身份证号；能用聚合特征的，不保留原始轨迹。
- 脱敏与加密：直接标识符哈希化，敏感字段加密存储，建模环境使用脱敏副本。
- 权限与审计：按角色分配数据权限，记录访问日志，定期做合规审计与删除到期数据。
常见误区：把“用户同意投保”等同于“同意采集行车轨迹”；把外部爬取数据直接入模；把原始GPS轨迹长期留存。这些做法在监管检查中极易被认定为违规，导致模型下线甚至处罚。
复盘建议：建立数据血缘图，标注每个字段的来源、授权依据、脱敏方式和责任人。建模前先过一遍“合规检查清单”，再进入特征工程，能显著降低返工成本。
数据采集与整合不是一次性工程，而是伴随业务迭代持续校准的过程。把三类数据源的口径、主键、合规依据固定下来，后续的画像标签和出险概率模型才有稳定、可信的输入。