4、坏样本特征工程：特征提取算子设计、滑动窗口聚合、特征归一化与分箱、特征存储到State

坏样本归因的准确性高度依赖特征工程的质量。在Flink实时流处理中，特征工程需要兼顾低延迟、状态一致性和算子可复用性。本节围绕四个核心环节展开：特征提取算子设计、滑动窗口聚合、特征归一化与分箱、特征存储到State。

4.1 特征提取算子设计

特征提取算子采用策略模式（Strategy Pattern）进行抽象，每个算子实现统一的 FeatureExtractor 接口，便于在Flink的 ProcessFunction 中链式调用。

算子名称	输入类型	输出特征	典型场景
CountExtractor	事件流	时间窗口内出险次数	高频出险检测
AmountExtractor	金额字段	累计赔付金额、平均赔付额	赔付强度评估
IntervalExtractor	时间戳	相邻事件间隔、间隔标准差	异常时间模式识别
CategoryExtractor	枚举字段	类别频次、类别占比	险种/地区分布分析
RatioExtractor	双数值字段	赔付率、费用率	财务比率监控

// 特征提取算子接口示例
public interface FeatureExtractor<IN, OUT> extends Serializable {
    OUT extract(IN event, RuntimeContext ctx) throws Exception;
    // 每个算子可注册自己的状态描述符
    StateDescriptor<?> getStateDescriptor();
}

4.2 滑动窗口聚合

坏样本归因需要观察连续时间窗口内的行为变化。滑动窗口聚合支持重叠窗口，能够捕捉到事件在时间轴上的渐变趋势。

滑动窗口参数配置：

参数	说明	推荐值（精算场景）
窗口大小（size）	单个窗口覆盖的时间范围	7天 / 30天
滑动步长（slide）	窗口每次向前移动的时间间隔	1天 / 3天
允许延迟（allowedLateness）	迟到事件的最大容忍时间	1小时
触发策略（trigger）	窗口计算触发条件	事件时间 + 周期性触发

// Flink SQL 滑动窗口聚合示例
SELECT
    policy_id,
    COUNT(*) AS claim_count,
    SUM(claim_amount) AS total_amount,
    AVG(claim_amount) AS avg_amount,
    HOP_START(event_time, INTERVAL '1' DAY, INTERVAL '30' DAY) AS window_start,
    HOP_END(event_time, INTERVAL '1' DAY, INTERVAL '30' DAY) AS window_end
FROM claim_events
GROUP BY
    policy_id,
    HOP(event_time, INTERVAL '1' DAY, INTERVAL '30' DAY);

4.3 特征归一化与分箱

原始特征量纲差异大（如赔付金额从百元到百万元），直接输入模型会导致数值不稳定。归一化与分箱是特征工程的标准预处理步骤。

4.3.1 归一化方法对比

方法	公式	适用场景	Flink实现要点
Min-Max归一化	(x - min) / (max - min)	特征值有明确上下界	维护全局min/max状态
Z-Score标准化	(x - μ) / σ	特征近似正态分布	维护均值和方差状态
Robust缩放	(x - median) / IQR	存在异常值	维护中位数和四分位距
对数变换	log(1 + x)	长尾分布（如赔付金额）	直接计算，无需状态

4.3.2 特征分箱策略

分箱将连续特征离散化，增强模型鲁棒性并降低过拟合风险。精算场景常用分箱方法：

• 等距分箱：按固定区间宽度划分，适用于分布均匀的特征（如年龄）。
• 等频分箱：按分位数划分，使每个箱体包含相同样本数，适用于长尾分布。
• 自定义分箱：基于业务规则划分，如赔付率按 [0, 0.3, 0.5, 0.7, 1.0, +∞) 分箱。

// 特征归一化算子示例（Z-Score）
public class ZScoreNormalizer extends RichMapFunction<Double, Double> {
    private ValueState<Double> sumState;
    private ValueState<Long> countState;

    @Override
    public void open(Configuration conf) {
        sumState = getRuntimeContext().getState(
            new ValueStateDescriptor<>("sum", Types.DOUBLE));
        countState = getRuntimeContext().getState(
            new ValueStateDescriptor<>("count", Types.LONG));
    }

    @Override
    public Double map(Double value) throws Exception {
        double sum = sumState.value() == null ? 0.0 : sumState.value();
        long count = countState.value() == null ? 0 : countState.value();
        sum += value;
        count++;
        sumState.update(sum);
        countState.update(count);
        double mean = sum / count;
        // 实际生产需维护平方和计算标准差
        return (value - mean) / 1.0; // 简化示例
    }
}

4.4 特征存储到State

Flink的状态后端（State Backend）是特征存储的核心载体。每个特征提取算子的中间结果、聚合值、归一化参数都保存在State中，确保故障恢复和精确一次语义。

特征State存储方案对比：

State类型	数据结构	适用特征	性能特点
ValueState	单值	累计赔付额、最近一次出险时间	读写快，适合标量特征
ListState	有序列表	近N次赔付金额序列	适合滑动窗口原始数据缓存
MapState	键值对	各险种累计次数、各渠道赔付率	适合多维度聚合特征
AggregatingState	聚合结果	滑动窗口内的均值、方差	增量聚合，内存友好

4.5 特征工程流水线整合

将上述环节组合为完整的Flink DataStream作业：

1. Source阶段：从Kafka消费理赔事件，解析为POJO。
2. 特征提取阶段：链式调用多个 FeatureExtractor 算子，生成原始特征向量。
3. 滑动窗口聚合阶段：按保单ID分组，应用滑动窗口计算聚合特征。
4. 归一化与分箱阶段：加载预训练的分箱边界和归一化参数，对特征进行变换。
5. State存储阶段：将最终特征向量写入 MapState<String, FeatureVector>，供下游归因模型调用。