2. Python 精算计算基础：NumPy 与 Pandas 在精算数据预处理中的高效用法、向量化计算与性能对比

2.1 精算数据预处理的挑战与工具选型

精算建模过程中，原始数据通常包含保单生效日、到期日、赔付金额、风险暴露数、多维度分类变量等异构字段。传统 Python 原生循环处理百万级保单记录时，性能瓶颈极为明显。NumPy 与 Pandas 是解决这一问题的核心工具：

• NumPy：提供底层多维数组对象与向量化数学函数，是数值计算引擎。
• Pandas：基于 NumPy 构建，提供 DataFrame 与 Series 结构，专为表格数据清洗、分组聚合、时间序列重采样设计。

2.2 向量化计算：从循环到数组运算

向量化计算的核心思想是将循环操作转化为批量数组运算，由底层 C/Fortran 代码并行执行，避免 Python 解释器逐行开销。以下对比展示三种实现方式在精算场景下的性能差异：

2.3 NumPy 在精算计算中的高效用法

2.3.1 核心数据结构：ndarray

NumPy 的 ndarray 是同质、连续内存的多维数组，支持广播（broadcasting）与通用函数（ufunc）。精算中常用场景：

• 风险暴露计算： 将保单起止日期转换为数值（如 2024-01-01 → 2024.0），利用向量化减法计算已赚年限。
• 赔付率平滑： 对赔付金额数组应用移动平均或核平滑函数。
• 矩阵运算： 在 GLM 或线性模型中计算设计矩阵的转置乘积 X.T @ X。

import numpy as np

# 精算示例：计算 100 万条保单的已赚保费比例
start_doy = np.random.randint(1, 366, size=1_000_000)  # 年积日
end_doy   = np.random.randint(start_doy, 366, size=1_000_000)
earned_ratio = (end_doy - start_doy) / 365.0

# 向量化条件筛选：剔除异常保单
valid_mask = (earned_ratio >= 0) & (earned_ratio <= 1.0)
clean_ratio = earned_ratio[valid_mask]
print(f"有效保单数: {len(clean_ratio)}")

2.3.2 广播机制与通用函数

广播允许不同形状的数组进行算术运算，无需显式复制数据。精算中常用于：

• 将标量费率因子应用到整个赔付数组：adjusted_loss = loss * factor
• 不同维度数组的混合运算：risk_score = np.sum(features * coefficients, axis=1)

2.4 Pandas 在精算数据预处理中的高效用法

2.4.1 分组聚合与精算指标计算

精算建模常需要按险种、地区、年度等维度计算聚合指标。Pandas 的 groupby 配合向量化聚合函数可高效完成：

import pandas as pd

# 模拟精算数据
df = pd.DataFrame({
    'product': ['A', 'B', 'A', 'B', 'A'],
    'earned_premium': [1000, 2000, 1500, 2500, 1200],
    'incurred_loss':  [600,  1400, 900,  1800, 720],
    'exposure':       [100,  200,  150,  250,  120]
})

# 分组计算损失率与纯保费
result = df.groupby('product').agg(
    total_premium=('earned_premium', 'sum'),
    total_loss=('incurred_loss', 'sum'),
    total_exposure=('exposure', 'sum')
)
result['loss_ratio'] = result['total_loss'] / result['total_premium']
result['pure_premium'] = result['total_loss'] / result['total_exposure']
print(result)

2.4.2 时间序列重采样与暴露调整

精算数据常以日、月、季度粒度记录。Pandas 的 resample 方法可将不规则时间序列对齐到标准日历周期：

• 月度聚合： df.resample('M', on='accident_date').sum()
• 滚动窗口： df['rolling_avg'] = df['loss'].rolling(window=12).mean()
• 暴露调整： 将日度暴露数按月份天数加权，得到月均风险暴露。

2.5 性能对比：向量化 vs 循环 vs apply

以下基准测试在 500 万条精算模拟数据上执行，比较三种方式计算“已赚保费比例”的性能：

2.6 精算数据预处理最佳实践清单

1. 优先使用向量化操作：所有逐元素数学运算、条件筛选、聚合函数都应使用 NumPy/Pandas 内置向量化方法。
2. 避免链式 apply：多个 apply 串联会反复创建临时对象，应合并为一次向量化表达式。
3. 利用 inplace 参数：在 Pandas 中，df.dropna(inplace=True) 可减少内存复制，但注意不要破坏原始数据。
4. 选择合适的数据类型：将分类变量转为 category 类型，将日期列转为 datetime64，可显著降低内存占用并提升分组速度。
5. 使用 NumPy 的 np.where 替代条件循环：例如 df['flag'] = np.where(df['loss_ratio'] > 0.8, 1, 0) 比逐行 if-else 快两个数量级。
6. 批量读写使用 Parquet 格式：Parquet 的列式存储与压缩特性，在精算大数据场景下比 CSV 快 5-10 倍。