VIP20
本课程属于：018-环境数据分析与Python应用 环境资源与绿色工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Python污染源监测数据批量清洗

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与场景认知
污染源监测数据的来源 · 类型与清洗挑战 · 明确课程目标与整体学习路径
课程导入场景认知
02
监测数据文件批量读取
使用Python批量读取Excel · CSV · TXT等格式的污染源监测数据文件
监测数据文件批量…Python
03
数据表结构统一与字段对齐
处理不同来源监测数据表的列名不一致 · 字段缺失与顺序差异 · 实现批量结构标准化
数据表结构统一字段对齐
04
缺失值识别与批量填充策略
针对污染物浓度 · 流量 · 监测时间等字段的缺失模式
缺失值识别批量填充策略
05
异常值检测与处理
基于统计规则与业务阈值识别污染物浓度… · 完成批量替换 · 剔除或标记
异常值检测处理
06
重复记录与冗余数据清理
识别并批量删除重复监测记录 · 处理同一时间点多条上报数据的去重逻辑
重复记录冗余数据清理
07
时间字段解析与标准化
将多种格式的监测时间字符串批量转换为… · 统一时区与时间粒度
时间字段解析标准化
08
污染物指标单位统一与换算
批量识别并转换mg/m³ · μg/m³ · ppm等浓度单位
污染物指标单位统…换算
09
监测数据编码与字典映射
对污染源类型 · 监测因子 · 排放标准等编码字段进行批量映射与中文…
监测数据编码字典映射
10
文本字段清洗与规范化
批量清理企业名称 · 地址 · 监测点位等文本字段中的空格
文本字段清洗规范化
11
数据格式批量转换与导出
将清洗后的监测数据批量输出为统一格式… · 并规范文件命名与目录结构
数据格式批量转换导出
12
多文件合并与数据拼接
将多个监测数据文件按行或按列批量合并 · 处理合并过程中的字段冲突与顺序问题
多文件合并数据拼接
13
分组清洗与按污染源拆分处理
按企业或监测点位分组 · 对每组数据独立执行清洗规则并汇总结果
分组清洗按污染源拆分处理
14
清洗规则配置化设计
将缺失值阈值 · 异常值范围 · 单位换算系数等清洗规则抽取为配置文件
清洗规则配置化设…将缺失值阈值
15
批量清洗流程函数封装
将读取 · 清洗 · 转换
批量清洗流程函数…将读取
16
清洗日志与质量报告生成
记录每批次数据的清洗操作与异常情况 · 自动生成数据质量统计报告
清洗日志质量报告生成
17
错误处理与断点续跑
在批量清洗过程中捕获文件读取错误 · 格式异常等问题 · 实现任务中断后的续跑机制
错误处理断点续跑
18
清洗前后数据一致性校验
对比清洗前后记录数 · 关键字段汇总值 · 验证批量清洗过程未引入数据丢失或错乱
清洗前后数据一致…对比清洗前后记录…
19
监测数据去噪与平滑处理
对高频监测序列中的随机波动进行批量平… · 保留真实污染变化趋势
监测数据去噪平滑处理
20
缺失时间点补全与重采样
对不连续监测时间序列进行批量重采样与… · 形成等间隔时间序列
缺失时间点补全重采样
21
污染源排放量计算与批量衍生
基于浓度 · 流量等字段批量计算排放量 · 生成衍生指标并统一单位
污染源排放量计算批量衍生
22
超标判定与批量标记
根据排放标准限值批量判定监测数据是否… · 生成超标标记与统计结果
超标判定批量标记
23
多源监测数据关联清洗
将污染源基础信息表与监测数据表按关键… · 补全企业属性并清洗关联结果
多源监测数据关联…将污染源基础信息…
24
批量清洗中的内存与性能优化
针对大文件与多文件场景 · 使用分块读取 · 向量化操作提升清洗效率
批量清洗内存
25
清洗脚本命令行化与批量调度
将清洗程序改造为命令行工具 · 支持指定输入目录 · 输出目录与规则文件批量运行
清洗脚本命令行化批量调度
26
实战
企业废水监测数据批量清洗 · 字段标准化 · 异常处理到结果导出的完整废水监测数据…
企业废水监测数据…字段标准化
27
实战
废气监测数据批量清洗与超标统计 · 单位换算 · 超标判定与汇总统计
废气监测数据批量…超标统计
28
实战
多站点空气质量监测数据合并清洗 · 统一时间与指标字段 · 输出规范数据集
多站点空气质量监…统一时间
29
实战
污染源监测数据清洗质量评估 · 一致性 · 准确性评估
污染源监测数据清…一致性
30
课程总结与清洗方案复用
回顾批量清洗关键技术 · 整理可复用的清洗模板与工程化落地建议
课程总结清洗方案复用