4、数据预处理与清洗：去噪、插值、异常值处理、坐标转换、标准化与归一化
地质数据从野外采集、实验室分析到遥感解译，往往携带大量噪声、缺失值、异常跳变以及多源异构的坐标与量纲差异。若未经处理直接进入建模环节，轻则降低模型精度，重则产生虚假地质规律。本章围绕数据预处理六大核心操作——去噪、插值、异常值处理、坐标转换、标准化与归一化，构建从“原始数据”到“可用特征”的完整转化路径。
4.1 去噪：从信号中剥离干扰
核心原理：地质数据中的噪声来源多样，包括仪器系统误差、环境电磁干扰、采样随机误差等。去噪的本质是保留真实地质信号，抑制非地质因素引起的波动。常见方法包括滑动平均滤波、中值滤波、小波变换去噪、经验模态分解（EMD）等。
| 方法 | 适用场景 | 优点 | 局限 |
|---|---|---|---|
| 滑动平均 | 测井曲线平滑、地球化学元素含量趋势提取 | 简单快速，适合线性趋势 | 边缘信息丢失，对突变不敏感 |
| 中值滤波 | 消除脉冲噪声（如电磁干扰尖峰） | 保留边缘，抗孤立噪声 | 对高斯噪声效果一般 |
| 小波变换 | 非平稳信号（如地震记录、随钻测井） | 时频局部化，多尺度分析 | 小波基选择依赖经验 |
| EMD | 非线性非平稳信号 | 自适应分解，无需预设基函数 | 模态混叠、端点效应 |
操作流程：① 绘制原始数据时序图或空间分布图，目视识别噪声类型；② 根据噪声特征选择滤波方法；③ 设置窗口大小或分解层数；④ 对比滤波前后统计特征（均值、方差、频谱）；⑤ 结合地质背景验证去噪合理性。
4.2 插值：填补数据空洞
核心原理：地质采样往往受地形、成本、可达性限制，存在大量空间或时间上的数据缺失。插值利用已知样本点推测未知位置的值，其数学基础是空间自相关性（距离越近越相似）。常用方法包括反距离加权（IDW）、普通克里金、样条函数插值等。
方法选择依据：
- IDW：适用于样本密度较高、各向同性区域，计算简单，但易产生“牛眼”效应。
- 普通克里金：考虑空间变异性（半变异函数），提供插值误差估计，适合矿体品位估算。
- 样条插值：适合平滑连续曲面（如地形面），但可能产生过冲。
4.3 异常值处理：识别真实异常与数据错误
核心原理：异常值分为两类：一是数据录入或测量错误导致的“伪异常”；二是真实地质异常（如矿化富集、构造破碎带）。处理前必须区分二者，否则会丢失重要找矿信息。
判断方法：
- 统计法：3σ原则（超出均值±3倍标准差）、箱线图（超出1.5倍四分位距）。
- 地质约束法：结合岩性、构造背景判断数值合理性（如花岗岩中SiO₂含量不应超过75%）。
- 空间邻域法：若某点值与其周围8个邻域点均值差异超过阈值，则标记为可疑。
| 异常类型 | 处理策略 | 适用场景 |
|---|---|---|
| 测量误差 | 删除或修正 | 仪器故障、人为录入错误 |
| 真实地质异常 | 保留并单独标注 | 矿化体、热液蚀变带 |
| 边缘极端值 | 缩尾处理（Winsorize） | 避免极端值影响模型训练 |
4.4 坐标转换：统一空间基准
核心原理：地质数据常来自不同来源：GPS采集（WGS84经纬度）、地形图（北京54/西安80高斯投影）、遥感影像（UTM投影）。坐标转换包括基准面转换（椭球体参数不同）和投影转换（地理坐标↔平面坐标）。
操作流程：① 明确源坐标系与目标坐标系；② 确定转换参数（三参数/七参数）；③ 使用专业工具（ArcGIS、QGIS、Proj4）执行转换；④ 验证转换精度（控制点残差）。
# 使用pyproj进行坐标转换示例
from pyproj import Transformer
transformer = Transformer.from_crs("EPSG:4326", "EPSG:32650", always_xy=True)
lon, lat = 116.391, 39.907 # 北京坐标
x, y = transformer.transform(lon, lat)
print(f"UTM 50N 坐标: {x:.2f}, {y:.2f}")4.5 标准化与归一化：消除量纲影响
核心原理：地质数据各变量量纲差异巨大（如SiO₂含量%与微量元素ppm），直接输入模型会导致大数值变量主导权重。标准化（Z-score）将数据转换为均值为0、标准差为1的分布；归一化（Min-Max）将数据缩放到[0,1]区间。
| 方法 | 公式 | 适用场景 | 注意事项 |
|---|---|---|---|
| Z-score标准化 | z = (x - μ) / σ | 数据近似正态分布，用于PCA、聚类、SVM | 对异常值敏感 |
| Min-Max归一化 | x' = (x - min) / (max - min) | 数据有明确边界（如遥感反射率0-1） | 受极端值影响大 |
| 鲁棒缩放 | x' = (x - median) / IQR | 数据含异常值 | 使用中位数和四分位距 |
实战场景：某机器学习项目预测岩性，输入特征包括密度（2.1-3.2 g/cm³）、电阻率（10-5000 Ω·m）、磁化率（0.1-50×10⁻⁵ SI）。若不处理，电阻率将主导距离计算。采用Z-score标准化后，各特征权重均衡，模型准确率从71%提升至84%。
- 背景：矿区面积12km²，数据包括：钻探岩心化验（Au、Ag、As、Sb）、地面高精度磁测、激电中梯测量。
- 初始问题：① 磁测数据受高压线干扰存在尖峰噪声；② 部分钻孔未穿透矿体导致Au品位缺失；③ 3个样本Au品位高达85g/t（疑似矿心）；④ 数据分别使用WGS84和西安80坐标；⑤ Au品位范围0.001-85g/t，与其他元素量纲差异巨大。
- 处理过程：① 磁测数据采用中值滤波（窗口5×5）去除尖峰；② 对缺失品位使用普通克里金插值（变程200m）；③ 结合岩心编录确认85g/t样本为真实矿心，保留并标注；④ 使用七参数布尔莎模型将西安80转换为WGS84；⑤ 对Au品位进行对数变换后Z-score标准化。
- 结果：处理后的数据集成功支撑随机森林模型，圈定3处靶区，其中1处经钻探验证见矿（Au品位2.3g/t）。
- 复盘：若直接删除85g/t异常值，将漏掉最富矿体；若不做坐标转换，靶区位置偏移达40m，无法指导施工。
4.6 常见误区与总结
- 误区一：先标准化再去噪——噪声会污染均值与方差计算，导致标准化失真。
- 误区二：所有插值都用IDW——忽视空间变异性，导致矿体形态畸变。
- 误区三：坐标转换只做投影变换——忽略基准面差异，造成百米级偏移。
- 误区四：归一化后无法还原——若需反演原始值，必须保存min/max参数。
总结：数据预处理不是机械流水线，而是需要结合地质专业知识进行判断的迭代过程。建议建立“原始数据→预处理日志→清洗后数据”的完整记录体系，确保每一步操作可追溯、可复现。预处理质量直接决定后续建模的可靠性，值得投入60%以上的项目时间。