2. 品位数据清洗与异常值处理实战
品位分级统计的第一步不是套公式,而是把“脏数据”变成“可用数据”。钻孔样品表在录入、化验、合并过程中,常见三类问题:超限值(品位高于或低于合理物理上限,如 Pb 品位 85%、Zn 品位 0.02% 却标为 62%)、零值(未检出被录成 0,或漏填被默认成 0)、缺失值(空白、NULL、"-"、"/" 等占位符)。这三类问题若直接进入分级统计,会同时扭曲品位均值、吨位加权和各级别占比,因此必须在统计前完成识别、判定与处理。
一、清洗对象与判定规则
本节以一张铅锌矿钻孔样品表为例,字段包括:样品编号、钻孔号、起止孔深、样长、Pb 品位(%)、Zn 品位(%)、化验状态。清洗前先建立判定规则,规则要可执行、可复核:
- 超限值:Pb、Zn 品位超出 [0, 100] 区间,或超出矿区经验上限(示例矿区取 Pb≤30%、Zn≤40%,超过即标记待核)。
- 零值:品位恰为 0,需区分“真未检出”与“漏填”。若化验状态为“未检出”,按检出限的一半赋值(示例 Pb 检出限 0.01%,赋 0.005%);若状态为空且同钻孔相邻样品均有值,判为漏填,转缺失处理。
- 缺失值:空白、NULL、"-"、"/" 统一识别为缺失,不得直接当 0 参与加权。
二、清洗流程与关键操作
清洗按“识别—判定—处理—复核”四步推进,但每一步都要落到具体样品上。以示例表 6 条记录说明(数据为教学假设,非实测):
| 样品编号 | Pb(%) | Zn(%) | 化验状态 | 问题判定 | 处理结果 |
|---|---|---|---|---|---|
| ZK01-01 | 2.35 | 4.10 | 正常 | 无 | 保留 |
| ZK01-02 | 85.00 | 3.20 | 正常 | Pb 超限 | 标记待核,暂不参与统计 |
| ZK01-03 | 0 | 0 | 未检出 | 零值(真未检出) | Pb=0.005,Zn=0.005 |
| ZK01-04 | - | 2.80 | 正常 | Pb 缺失 | 转缺失,按同孔相邻均值插补 |
| ZK01-05 | 1.90 | NULL | 正常 | Zn 缺失 | 转缺失,按同孔相邻均值插补 |
| ZK01-06 | 3.10 | 5.60 | 正常 | 无 | 保留 |
插补时只使用同钻孔内相邻且已通过校验的样品,避免跨孔借用造成空间失真。ZK01-04 的 Pb 取 ZK01-03 与 ZK01-05 的均值 (0.005+1.90)/2≈0.95%;ZK01-05 的 Zn 取 ZK01-04 与 ZK01-06 的均值 (2.80+5.60)/2=4.20%。ZK01-02 的 Pb=85% 明显超出矿区经验上限,不能简单截断为 30%,而应回查原始化验单;在未核实前将其排除出统计集,并在报告中单列“待核样品”,避免污染分级结果。
三、清洗对分级统计的影响
清洗前后对比最能说明问题。假设分级边界为 Pb:<1% 为低品位、1%~3% 为中品位、>3% 为高品位。若不清洗,ZK01-02 的 85% 会把 Pb 均值从约 1.9% 拉高到约 15.7%,高品位样品占比从 1/6 虚增到 2/6;ZK01-03 的 0 值会把低品位占比抬高;ZK01-04、ZK01-05 的缺失若被当 0,则中品位样品被错误降级。清洗后,参与统计的 5 条有效样品 Pb 均值为 (2.35+0.005+0.95+1.90+3.10)/5≈1.66%,高品位仅 ZK01-06 一条,占比 20%,与钻孔实际见矿情况更吻合。
四、复核与交付
清洗完成后必须复核三件事:一是数量守恒,原始 6 条 = 有效 5 条 + 待核 1 条,不能凭空多出或丢失样品;二是插补合理性,插补值应落在同孔相邻样品区间内,本例 0.95% 与 4.20% 均满足;三是统计口径一致,吨位加权时样长必须与品位一一对应,被排除的待核样品不得计入分母。最终交付一份清洗后样品表加一份清洗日志,日志字段建议为:样品编号、字段名、原值、问题类型、判定依据、处理方式、处理值、复核人。这样后续品位分级统计与吨位计算才有可靠的数据基础,任何一级占比的异常都能回溯到具体样品的处理记录。