VIP20
本课程属于：041-厂务数据采集 半导体工艺与制造设备 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

厂务数据清洗：PLC采集数据异常值过滤与处理流程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
厂务数据清洗的重要性 · PLC数据采集的典型场景（水电气暖） · 异常值对生产决策的影响
课程导论厂务数据清洗的重…
02
PLC数据采集基础
PLC通讯协议概述（Modbus · OPC UA） · 数据点（Tag）与时间序列的概念
PLC数据采集基础
03
数据采集架构
从PLC到数据库的链路（PLC ->…
数据采集架构PLC
04
数据质量维度
完整性 · 准确性 · 一致性
数据质量维度完整性
05
异常值定义与分类
缺失值 · 重复值 · 漂移值
异常值定义分类
06
环境准备
Python环境搭建（Anacond… · 核心库安装（pandas · numpy
环境准备Python
07
数据读取与预览
使用pandas读取CSV/Parq… · 查看DataFrame基本信息
数据读取预览
08
时间序列索引处理
将时间戳列设为索引 · 处理时区问题 · 重采样（resample）基础
时间序列索引处理将时间戳列设为索…
09
缺失值检测
isnull()与isna()的使用 · 缺失率统计 · 可视化缺失值分布（热力图）
缺失值检测isnull
10
缺失值处理策略
向前填充（ffill） · 向后填充（bfill） · 线性插值（interpolate）
缺失值处理策略ffill
11
重复值检测与处理
duplicated()与drop_… · 基于时间戳与Tag值的联合去重
重复值检测处理
12
基于统计学的异常检测
Z-Score方法原理 · 3σ原则在连续变量中的应用
基于统计学的异常…Z-Score
13
基于四分位距（IQR）的异常检测
箱线图原理 · IQR计算 · 上下限截断
IQR基于四分位距
14
移动平均平滑法
简单移动平均（SMA） · 指数加权移动平均（EWMA）用于趋势…
移动平均平滑法SMA
15
基于差分的突变检测
一阶差分 · 二阶差分 · 识别数据跳变点（Spike）
基于差分的突变检…一阶差分
16
死值（冻结值）检测
连续相同值计数 · 基于时间窗口的死值判定逻辑
死值冻结值
17
基于密度的异常检测（DBSCAN）
DBSCAN原理 · 在厂务数据聚类中的应用 · 参数调优
DBSCAN基于密度的异常检…
18
孤立森林（Isolation Forest）
算法原理 · 在PLC高维数据异常检测中的实践
IsolationForest
19
基于阈值的规则过滤
硬阈值（工艺上下限） · 软阈值（动态阈值 · 如基于历史分位数）
基于阈值的规则过…硬阈值
20
多变量异常检测
多Tag联合分析（如温度与压力耦合异… · 协方差矩阵与马氏距离
多变量异常检测Tag
21
数据清洗Pipeline构建
使用scikit-learn的Pip… · 实现可复用的清洗流程
Pipeline数据清洗
22
数据清洗效果评估
清洗前后统计量对比（均值 · 方差 · 极值）
数据清洗效果评估清洗前后统计量对…
23
清洗后数据存储
清洗结果写入InfluxDB/Pos… · 保留原始数据与清洗标记
清洗后数据存储InfluxDB/Pos
24
实时数据清洗架构
基于Kafka + Flink/Sp…
实时数据清洗架构Kafka
25
厂务数据治理最佳实践
数据字典维护 · Tag命名规范 · 异常值标签化（标记而非删除）
厂务数据治理最佳…数据字典维护
26
案例实战一
空压机系统压力数据清洗（处理跳变与死…
案例实战一空压机系统压力数…
27
案例实战二
中央空调冷冻水温度数据清洗（处理缺失…
案例实战二央空调冷冻水温度…
28
案例实战三
纯水系统电导率数据清洗（多变量异常检…
案例实战三纯水系统电导率数…
29
自动化清洗脚本开发
编写可配置的Python脚本 · 支持YAML配置文件定义清洗规则
自动化清洗脚本开…Python
30
课程总结与展望
AI在厂务数据清洗中的未来（自编码器 · GAN生成正常数据）
课程总结AI