4、特征工程基础：时间窗口特征、聚合特征、比率特征、文本特征提取（如理赔描述）

在保险精算坏样本归因分析中，原始理赔数据通常以事务日志形式存在，无法直接用于模型训练。特征工程是将原始日志转化为结构化、可计算特征的关键步骤。本章聚焦于四类核心特征：时间窗口特征、聚合特征、比率特征以及文本特征，并结合理赔场景给出具体实现。

4.1 时间窗口特征

时间窗口特征用于捕捉理赔行为在特定时间段内的统计规律。常见的窗口类型包括：固定长度窗口（如过去30天）、滑动窗口（如过去7天滚动）以及业务周期窗口（如保单年度内）。

import pandas as pd

# 假设 df 包含 claim_date, policy_id, claim_amount 等字段
df['claim_date'] = pd.to_datetime(df['claim_date'])
df = df.sort_values(['policy_id', 'claim_date'])

# 固定长度窗口：过去30天理赔次数
df['claim_count_30d'] = df.groupby('policy_id')['claim_date'].transform(
    lambda x: x.rolling(window='30D', min_periods=1).count()
)

# 事件间隔窗口：相邻理赔间隔天数
df['days_since_last_claim'] = df.groupby('policy_id')['claim_date'].diff().dt.days

4.2 聚合特征

聚合特征通过对理赔记录按某个维度（如保单、客户、车辆）进行分组，计算统计量来刻画群体行为。常用的聚合函数包括：计数、求和、均值、标准差、最大值、最小值、分位数等。

# 按保单分组，计算截止当前时间之前的聚合特征
def safe_agg(group):
    # 对每个样本，只使用该样本之前的数据
    group = group.sort_values('claim_date')
    group['cum_claim_count'] = range(1, len(group) + 1)
    group['cum_claim_amount'] = group['claim_amount'].cumsum()
    group['avg_claim_amount'] = group['claim_amount'].expanding().mean()
    return group

df = df.groupby('policy_id').apply(safe_agg).reset_index(drop=True)

4.3 比率特征

比率特征通过两个或多个数值字段的比值来消除量纲影响，反映相对关系。在保险精算中，比率特征常用于衡量风险密度、赔付效率等。

import numpy as np

# 计算案均赔付，处理分母为0的情况
df['claim_count'] = df['claim_count'].fillna(0)
df['avg_payout'] = np.where(
    df['claim_count'] > 0,
    df['total_claim_amount'] / df['claim_count'],
    0
)

# 计算赔付率（假设已赚保费字段为 earned_premium）
df['loss_ratio'] = np.where(
    df['earned_premium'] > 0,
    df['total_claim_amount'] / df['earned_premium'],
    0
)

4.4 文本特征提取（理赔描述）

理赔描述文本中蕴含大量非结构化信息，如事故原因、责任认定、欺诈线索等。文本特征提取的目标是将这些信息转化为数值向量，供模型使用。

常用的文本特征提取方法包括：

• 词袋模型（Bag of Words, BoW）：统计每个词在文本中出现的次数，忽略词序。适用于高频关键词检测。
• TF-IDF：考虑词频和逆文档频率，降低常见词的权重，突出特定文档中的关键词。
• N-gram：提取连续的N个词作为特征，保留局部词序信息。例如，2-gram可捕捉“虚假报案”、“故意碰撞”等短语。
• 预训练词向量：使用Word2Vec、FastText等模型将词映射为稠密向量，再对文档取平均或加权求和。
• 规则关键词匹配：基于业务词典，直接标记是否包含“拒赔”、“欺诈”、“酒驾”等敏感词。

from sklearn.feature_extraction.text import TfidfVectorizer

# 假设 df['claim_description'] 为理赔描述文本
tfidf = TfidfVectorizer(
    max_features=500,        # 限制最大特征数，避免维度爆炸
    stop_words='english',    # 去除停用词
    ngram_range=(1, 2),      # 使用1-gram和2-gram
    min_df=5,                # 至少在5个文档中出现
    max_df=0.8               # 忽略在80%以上文档中出现的词
)

# 拟合转换
tfidf_matrix = tfidf.fit_transform(df['claim_description'].fillna(''))

# 转换为DataFrame
tfidf_df = pd.DataFrame(
    tfidf_matrix.toarray(),
    columns=tfidf.get_feature_names_out()
)

# 与原数据合并
df = pd.concat([df, tfidf_df], axis=1)