2. 品位数据清洗与异常值处理实战

品位分级统计的第一步不是套公式,而是把“脏数据”变成“可用数据”。钻孔样品表在录入、化验、合并过程中,常见三类问题:超限值(品位高于或低于合理物理上限,如 Pb 品位 85%、Zn 品位 0.02% 却标为 62%)、零值(未检出被录成 0,或漏填被默认成 0)、缺失值(空白、NULL、"-"、"/" 等占位符)。这三类问题若直接进入分级统计,会同时扭曲品位均值、吨位加权和各级别占比,因此必须在统计前完成识别、判定与处理。

一、清洗对象与判定规则

本节以一张铅锌矿钻孔样品表为例,字段包括:样品编号、钻孔号、起止孔深、样长、Pb 品位(%)、Zn 品位(%)、化验状态。清洗前先建立判定规则,规则要可执行、可复核:

  • 超限值:Pb、Zn 品位超出 [0, 100] 区间,或超出矿区经验上限(示例矿区取 Pb≤30%、Zn≤40%,超过即标记待核)。
  • 零值:品位恰为 0,需区分“真未检出”与“漏填”。若化验状态为“未检出”,按检出限的一半赋值(示例 Pb 检出限 0.01%,赋 0.005%);若状态为空且同钻孔相邻样品均有值,判为漏填,转缺失处理。
  • 缺失值:空白、NULL、"-"、"/" 统一识别为缺失,不得直接当 0 参与加权。
判定规则应写入清洗日志,每个被修改的样品都要记录“原值—判定依据—处理结果”,保证统计结果可追溯、可复核。

二、清洗流程与关键操作

清洗按“识别—判定—处理—复核”四步推进,但每一步都要落到具体样品上。以示例表 6 条记录说明(数据为教学假设,非实测):

样品编号Pb(%)Zn(%)化验状态问题判定处理结果
ZK01-012.354.10正常无保留
ZK01-0285.003.20正常Pb 超限标记待核,暂不参与统计
ZK01-0300未检出零值(真未检出)Pb=0.005,Zn=0.005
ZK01-04-2.80正常Pb 缺失转缺失,按同孔相邻均值插补
ZK01-051.90NULL正常Zn 缺失转缺失,按同孔相邻均值插补
ZK01-063.105.60正常无保留

插补时只使用同钻孔内相邻且已通过校验的样品,避免跨孔借用造成空间失真。ZK01-04 的 Pb 取 ZK01-03 与 ZK01-05 的均值 (0.005+1.90)/2≈0.95%;ZK01-05 的 Zn 取 ZK01-04 与 ZK01-06 的均值 (2.80+5.60)/2=4.20%。ZK01-02 的 Pb=85% 明显超出矿区经验上限,不能简单截断为 30%,而应回查原始化验单;在未核实前将其排除出统计集,并在报告中单列“待核样品”,避免污染分级结果。

三、清洗对分级统计的影响

清洗前后对比最能说明问题。假设分级边界为 Pb:<1% 为低品位、1%~3% 为中品位、>3% 为高品位。若不清洗,ZK01-02 的 85% 会把 Pb 均值从约 1.9% 拉高到约 15.7%,高品位样品占比从 1/6 虚增到 2/6;ZK01-03 的 0 值会把低品位占比抬高;ZK01-04、ZK01-05 的缺失若被当 0,则中品位样品被错误降级。清洗后,参与统计的 5 条有效样品 Pb 均值为 (2.35+0.005+0.95+1.90+3.10)/5≈1.66%,高品位仅 ZK01-06 一条,占比 20%,与钻孔实际见矿情况更吻合。

铅锌矿钻孔样品清洗链路与分级统计影响 原始样品表 6 条记录 Pb / Zn / 状态 问题识别 超限 / 零值 / 缺失 规则逐条比对 判定与处理 待核 / 赋检出限半值 同孔相邻均值插补 清洗后数据集 5 条有效样品 1 条待核单列 清洗前(含脏数据) Pb 均值 ≈ 15.7%(被 85% 拉高) 高品位占比 2/6 ≈ 33%(虚增) 缺失当 0:中品位被错误降级 零值混入:低品位占比失真 清洗后(有效样品) Pb 均值 ≈ 1.66%(5 条有效) 高品位占比 1/5 = 20%(合理) 插补后中品位样品恢复 ZK01-02 单列待核,不参与统计

四、复核与交付

清洗完成后必须复核三件事:一是数量守恒,原始 6 条 = 有效 5 条 + 待核 1 条,不能凭空多出或丢失样品;二是插补合理性,插补值应落在同孔相邻样品区间内,本例 0.95% 与 4.20% 均满足;三是统计口径一致,吨位加权时样长必须与品位一一对应,被排除的待核样品不得计入分母。最终交付一份清洗后样品表加一份清洗日志,日志字段建议为:样品编号、字段名、原值、问题类型、判定依据、处理方式、处理值、复核人。这样后续品位分级统计与吨位计算才有可靠的数据基础,任何一级占比的异常都能回溯到具体样品的处理记录。

不要用“全局均值”直接填补缺失品位,也不要把超限值简单截断到上限。前者会抹平矿化分带,后者会人为制造高品位样品,两者都会系统性高估或低估吨位与金属量。