2. 特征工程基础回顾：特征类型、特征尺度与质量评估

在精算建模中，坏样本归因的成功与否高度依赖特征的质量。本章系统回顾特征工程的基础概念，涵盖特征类型、特征尺度以及特征质量评估三大核心模块，为后续的坏样本特征构造与筛选奠定理论基础。

2.1 特征类型：数值、类别与时序

精算数据通常包含三种基本特征类型，每种类型在建模前的预处理方式截然不同。

2.2 特征尺度：测量水平的四种层次

特征尺度（Measurement Scale）决定了特征可进行的数学运算与统计操作。精算建模中常用 Stevens 分类法。

• 定类尺度（Nominal）： 仅用于标识类别，无大小、无顺序。如险种代码、性别。只能计算众数。
• 定序尺度（Ordinal）： 有顺序但差值无意义。如风险等级（低/中/高）、客户忠诚度评分。可计算中位数。
• 定距尺度（Interval）： 差值有意义，但无绝对零点。如温度（摄氏度）、年份。可计算均值、标准差。
• 定比尺度（Ratio）： 有绝对零点，比值有意义。如保额、赔付金额、年龄。可进行所有数学运算。

2.3 特征质量评估：缺失率、唯一值与分布

特征质量直接决定模型的上限。精算数据常存在高缺失、高基数、长尾分布等问题。以下三个指标是特征筛选的第一道关卡。

2.3.1 缺失率（Missing Rate）

缺失率 = 缺失样本数 / 总样本数。精算场景中，缺失往往携带信息（如“未填写理赔原因”可能暗示欺诈）。

• 低缺失（< 5%）： 可直接填充（均值/中位数/众数）或删除。
• 中缺失（5% - 30%）： 需分析缺失机制（MCAR/MAR/MNAR），考虑模型填充或单独编码。
• 高缺失（> 30%）： 通常删除，除非缺失本身是强预测信号。

2.3.2 唯一值（Unique Value Count）

唯一值数量反映特征的区分能力。

2.3.3 分布（Distribution）

特征的分布形态影响模型假设与预处理策略。

• 正态分布： 适合线性模型，可直接使用。
• 偏态分布（长尾）： 精算赔付金额典型特征。需做对数变换、Box-Cox变换或分箱。
• 双峰/多峰分布： 可能隐含子群体，需结合业务进行分群建模。
• 均匀分布： 区分能力弱，需检查是否为噪声。

2.4 特征质量评估实战代码片段

以下 Python 代码演示如何快速计算特征质量指标，适用于精算数据集的初步探索。

import pandas as pd
import numpy as np

def feature_quality_report(df):
    """
    生成特征质量评估报告
    参数:
        df: pandas DataFrame
    返回:
        report: DataFrame，包含缺失率、唯一值数、数据类型
    """
    report = pd.DataFrame({
        '特征名': df.columns,
        '数据类型': df.dtypes.values,
        '缺失率': df.isnull().mean().values,
        '唯一值数': df.nunique().values,
        '零方差标记': df.nunique().values == 1
    })
    report['缺失等级'] = pd.cut(
        report['缺失率'],
        bins=[-0.001, 0.05, 0.30, 1.0],
        labels=['低', '中', '高']
    )
    return report.sort_values('缺失率', ascending=False)

# 示例用法
# report = feature_quality_report(insurance_data)
# print(report[report['缺失等级'] == '高'])