4. 数据预处理
在UBI（Usage Based Insurance）定价引擎中，原始数据往往来自车载OBD、手机传感器、T-Box或第三方数据平台，格式不统一、采样频率不一致、噪声严重。若直接进入特征工程与定价模型，会导致评分偏差、风险错配甚至监管合规问题。因此，数据预处理是UBI定价链路中决定模型上限的关键环节。本章围绕缺失值处理、异常值检测、行程切分、驾驶事件识别与清洗流程五个核心任务展开。
一、核心原理：为什么UBI数据必须“先清洗、后定价”
UBI定价的核心输入是驾驶行为与里程暴露量，其质量直接决定风险区分度。原始数据通常存在三类问题：
- 缺失：GPS丢星、传感器断连、设备未激活，导致速度、位置、时间戳缺失。
- 异常：速度突变、经纬度漂移、重复上报、时间倒流，形成伪急加速或伪急转弯。
- 结构混乱：一次点火包含多段行程，或多次点火被合并为一条记录，无法对应真实驾驶暴露。
预处理的本质，是把“设备视角的原始流”转换为“保单视角的驾驶暴露单元”。只有完成这一转换，后续的急刹车次数、超速时长、夜间行驶占比等特征才具备可比性与可解释性。
核心目标：让每一段行程可归属、每一个事件可解释、每一个缺失可追溯，最终形成“保单—行程—事件”三级可审计数据链。
二、方法流程：五步清洗流水线
建议将预处理组织为可配置的流水线，每一步输出中间快照，便于回溯与调参。典型流程如下：
- 缺失值处理：区分“设备缺失”与“业务缺失”。对短时GPS缺失采用线性插值或卡尔曼平滑；对长时间缺失则标记为无效行程，不参与定价。
- 异常值检测：基于物理阈值与统计分布双重判断，如速度>200km/h、加速度>0.6g、经纬度跳变超过500m/s。
- 行程切分：依据点火信号、速度持续为0、时间间隔阈值（如停车>5分钟）切分行程。
- 驾驶事件识别：在切分后的行程内识别急加速、急减速、急转弯、超速、疲劳驾驶等事件。
- 数据清洗与落库：统一时间戳、坐标系、单位，生成行程级与事件级宽表。
三、关键任务与参数配置
以下表格汇总了各环节的常用判断条件与建议参数，实际项目中应结合设备采样频率与业务容忍度调整。
| 环节 | 判断条件/参数 | 处理策略 | 输出标记 |
|---|---|---|---|
| 缺失值处理 | GPS缺失<30s；速度缺失<10s | 线性插值/卡尔曼平滑 | imputed_flag |
| 缺失值处理 | 连续缺失>5min | 标记无效行程，不参与定价 | invalid_trip |
| 异常值检测 | 速度>200km/h；加速度>0.6g | 截断或剔除该点 | outlier_flag |
| 异常值检测 | 经纬度跳变>500m/s | 视为漂移，剔除并插值 | drift_flag |
| 行程切分 | 停车>5min或点火信号OFF | 切分为独立行程 | trip_id |
| 驾驶事件识别 | 纵向加速度阈值±0.3g | 识别急加速/急减速 | event_type |
| 驾驶事件识别 | 横向加速度>0.4g | 识别急转弯 | event_type |
四、案例与场景：一次行程切分与事件识别
假设某车辆一次点火后产生如下原始记录：前10分钟正常行驶，随后停车6分钟，再行驶15分钟。若不做切分，系统会把两段行程合并，导致急刹车次数被平均稀释，风险评分偏低。正确做法是依据停车时长阈值切分为两个trip_id，分别计算事件密度。
# 行程切分伪代码示例
for row in raw_data:
if row.speed == 0 and duration_stop > 300:
trip_id += 1
assign(row, trip_id)
# 急减速识别
if delta_speed / delta_t < -0.3g:
event = "harsh_brake"
save_event(trip_id, event, timestamp)提示：行程切分阈值并非越小越好。阈值过小会把等红灯切成多段，虚增行程数；阈值过大则合并真实行程，低估暴露量。建议先用历史数据做分布分析，再确定5分钟或10分钟阈值。
五、误区与复盘
- 误区一：缺失值一律删除。删除会损失大量样本，尤其对低里程用户不公平，应优先插值并标记置信度。
- 误区二：异常值只靠固定阈值。不同车型、不同道路类型加速度分布差异大，应结合分位数与业务规则。
- 误区三：行程切分后不校验。切分后需检查行程时长、里程、平均速度是否合理，避免出现“0秒行程”或“超长行程”。
- 误区四：事件识别不区分方向。急加速与急减速的符号相反，若统一取绝对值，会丢失风险方向信息。
复盘要点：预处理阶段产生的每一个标记字段（imputed_flag、outlier_flag、invalid_trip）都应保留到最终宽表中，便于后续模型解释与监管审计。清洗不是“丢弃”，而是“可追溯地修正”。
完成上述五步后，UBI定价引擎才能获得干净、可解释、可审计的行程级与事件级数据。下一阶段即可进入特征工程，将急刹车频次、超速时长、夜间行驶占比等指标转化为定价因子。