4. 数据基础与预处理
巨灾损失模拟的精度，首先取决于输入数据的质量与结构。无论采用何种模型，若数据基础存在缺失、坐标错位、量纲混乱或资产重复，损失结果都会出现系统性偏差。本节围绕四类核心数据——气象水文数据、地震目录、地理空间数据、资产清单——梳理其获取、解析、清洗与对齐方法，并给出可复用的预处理流程。
一、四类数据的核心作用与结构
气象水文数据用于刻画台风、洪水等致灾因子的强度与时空分布，常见来源包括气象站观测、卫星反演、再分析资料（如ERA5）和水文站流量记录。其典型字段为时间戳、站点编号、经纬度、风速、降雨量、水位、流量等。地震目录则记录震源参数，包括发震时刻、震中经纬度、震源深度、震级和震中烈度，是地震危险性分析的基础输入。地理空间数据提供承灾体的空间位置与边界，包括行政区划、地形高程、土地利用、河流水系和建筑轮廓。资产清单描述暴露在灾害下的财产，通常包含资产ID、位置、类型、重置价值、结构属性和楼层信息。
四类数据在模拟中形成“致灾因子—地理环境—承灾体”的链条：气象水文与地震目录提供灾害强度场，地理空间数据完成空间映射，资产清单提供损失计算对象。任何一环的坐标或量纲不一致，都会导致空间连接失败。
二、数据清洗与预处理方法流程
预处理的目标是让四类数据在同一时空基准下可计算。建议按以下流程执行：
- 坐标系统一：将所有空间数据转换为同一投影坐标系，例如CGCS2000或WGS84对应的UTM分区。经纬度数据需注意度分秒与十进制度转换。
- 时间基准统一：气象水文与地震目录统一为UTC或北京时间，并明确时区偏移，避免台风登陆时刻与水位峰值错位。
- 缺失值与异常值处理：对连续变量采用线性插值或克里金插值；对超出物理阈值的记录（如风速为负、震级大于10）标记为异常并剔除。
- 去重与主键校验：资产清单按资产ID去重，地震目录按事件ID去重，气象站点按站号去重。
- 空间连接：将资产点与行政区、地形栅格、灾害强度场进行空间连接，生成“资产—灾害强度”配对表。
- 量纲归一：统一风速为m/s、降雨为mm、水位为m、价值为万元或元，并记录单位字段。
关键原则：预处理不是一次性动作，而是可追溯的数据流水线。每一步都应保留原始数据、处理脚本和日志，确保损失结果可复现、可审计。
三、典型场景与参数示例
以台风洪水损失模拟为例，假设需要将气象站降雨数据与资产清单对齐。常见操作包括：读取站点CSV，转换坐标为投影坐标，按资产位置进行最近邻或反距离加权插值，生成每个资产的降雨强度。以下为Python伪代码示例：
import pandas as pd
import geopandas as gpd
from shapely.geometry import Point
# 读取资产与气象站
assets = pd.read_csv("assets.csv")
stations = pd.read_csv("rainfall_stations.csv")
# 转为GeoDataFrame
assets_gdf = gpd.GeoDataFrame(
assets,
geometry=[Point(xy) for xy in zip(assets.lon, assets.lat)],
crs="EPSG:4326"
).to_crs("EPSG:32650")
stations_gdf = gpd.GeoDataFrame(
stations,
geometry=[Point(xy) for xy in zip(stations.lon, stations.lat)],
crs="EPSG:4326"
).to_crs("EPSG:32650")
# 空间连接：每个资产匹配最近气象站
joined = gpd.sjoin_nearest(assets_gdf, stations_gdf, how="left")
joined = joined.drop_duplicates(subset="asset_id")
print(joined[["asset_id", "rainfall_mm", "distance"]].head())
对于地震目录，需将震中与资产位置计算距离，并结合震级、深度和场地条件计算烈度。常用参数包括震级M、震源深度h、震中距R，以及衰减关系中的系数。若目录中存在重复事件或震级单位不统一（如面波震级与矩震级混用），必须先统一震级标度。
| 数据类型 | 核心字段 | 常见问题 | 清洗方法 |
|---|---|---|---|
| 气象水文 | 时间、站号、经纬度、风速、降雨、水位 | 缺测、单位混用、站点迁移 | 插值、单位换算、站号历史映射 |
| 地震目录 | 时刻、震中、深度、震级 | 重复事件、震级标度不一 | 事件去重、震级转换、余震剔除 |
| 地理空间 | 行政区、高程、水系、建筑轮廓 | 坐标系不一致、边界拓扑错误 | 投影转换、拓扑修复、栅格重采样 |
| 资产清单 | 资产ID、位置、类型、价值、结构 | 重复、地址无法地理编码、价值缺失 | 去重、地理编码校验、同类均值填补 |
四、常见误区与复盘要点
误区一：只做格式转换，不做空间校验。很多资产地址地理编码后落在河流或山区，若直接参与计算，会高估或低估损失。应叠加行政区与地形图层进行合理性检查。
误区二：忽略时间窗口对齐。台风降雨与洪水水位存在滞后，若按同一时刻直接匹配，会低估洪水淹没范围。应建立滞后相关或水文演进模型。
误区三：资产价值未剔除重复投保或重复登记。同一建筑在多个清单中出现，会导致暴露价值虚高。应按唯一资产ID合并，并核对保险与财务台账。
复盘时建议检查四项指标：坐标转换后资产落入研究区比例、时间序列缺失率、空间连接成功率、资产价值总量与统计年鉴偏差。若空间连接成功率低于95%，通常说明坐标系或地理编码存在问题；若价值总量偏差超过10%，则需重新核对资产清单口径。
实用建议：建立“数据字典+处理日志+质量报告”三件套。数据字典记录字段含义与单位，处理日志记录每一步脚本与参数，质量报告汇总缺失率、异常率和连接成功率。这样在后续章节进行损失计算时，才能快速定位问题来源。
完成本节的数据基础与预处理后，四类数据已具备统一时空基准和可计算结构，为后续致灾因子强度场构建、暴露分析与易损性曲线匹配提供了可靠输入。