VIP20
本课程属于：037-Edge AI传感器标定与数据采集 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

端侧采集数据质量检查与异常样本剔除

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · 端侧数据采集的典型场景（如IoT
课程导入学习目标
02
端侧数据采集基础
传感器类型 · 采样频率 · 数据格式
端侧数据采集基础传感器类型
03
数据质量维度
完整性 · 准确性 · 一致性
数据质量维度完整性
04
常见异常样本类型
缺失值 · 重复值 · 离群点
常见异常样本类型缺失值
05
数据质量检查流程
从原始数据接入 · 预处理 · 质量评估
数据质量检查流程从原始数据接入
06
数据质量评估指标体系
定义质量评分 · 异常率 · 覆盖率
数据质量评估指标…定义质量评分
07
数据探查与可视化
使用直方图 · 箱线图 · 时序图
数据探查可视化
08
缺失值处理
缺失机制（MCAR/MAR/MNAR… · 删除法 · 插补法（均值/中位数/回归/多重插补…
缺失值处理MCAR/MAR/MNA…
09
重复样本检测
基于哈希 · 相似度 · 时间窗口等方法的重复检测与去重策略
重复样本检测基于哈希
10
离群点检测方法（一）
基于统计的方法（Z-score · IQR · Grubbs检验）及其在端侧数据上的…
离群点检测方法Z-score
11
离群点检测方法（二）
基于距离的方法（KNN · LOF）与基于密度的方法 · 以及计算资源受限时的优化
离群点检测方法KNN
12
离群点检测方法（三）
基于机器学习的方法（孤立森林 · One-Class SVM · 自编码器）及轻量化模型选择
离群点检测方法基于机器学习的方…
13
时间序列异常检测
趋势 · 季节性 · 突变点检测
时间序列异常检测趋势
14
数据漂移检测
概念漂移 · 数据漂移的检测方法（PSI · KS检验
数据漂移检测概念漂移
15
数据一致性检查
跨传感器 · 跨设备 · 跨时间的一致性校验
数据一致性检查跨传感器
16
数据时效性与延迟检查
时间戳同步 · 延迟计算 · 乱序处理
数据时效性延迟检查
17
端侧资源约束下的质量检查
计算 · 存储 · 带宽限制下的轻量级算法设计与边缘计算…
端侧资源约束下的…计算
18
数据质量检查工具与框架
开源工具（如Great Expect… · Deequ · TensorFlow Data Va…
数据质量检查工具框架
19
端侧数据清洗实战（一）
基于Python的Pandas/Nu…
端侧数据清洗实战Python
20
端侧数据清洗实战（二）
使用PyOD · scikit-learn等库进行离群…
端侧数据清洗实战PyOD
21
端侧数据清洗实战（三）
针对时间序列数据的异常检测与修复的完…
端侧数据清洗实战针对时间序列数据…
22
案例实战
智能家居端侧传感器数据质量检查与异常…
案例实战智能家居端侧传感…
23
案例实战
工业IoT设备振动数据异常检测与剔除 · 以及故障预警场景下的质量要求
案例实战IoT
24
案例实战
移动端GPS轨迹数据清洗 · 包括漂移点剔除 · 路径平滑与有效性验证
案例实战GPS
25
案例实战
自动驾驶端侧多传感器（摄像头 · 雷达 · IMU）数据质量融合检查与异常样本剔…
案例实战自动驾驶端侧多传…
26
常见问题与解决方案
数据量过大 · 实时性要求高 · 标签缺失
常见问题解决方案
27
质量检查与模型训练的关系
数据质量对模型性能的影响 · 以及如何通过质量检查提升模型鲁棒性
质量检查模型训练的关系
28
自动化与持续监控
构建端侧数据质量监控管道 · 实现自动报警 · 自动重采与自适应清洗策略
自动化持续监控
29
综合项目实战
从零搭建一个端侧数据质量检查与异常剔… · 包括需求分析 · 架构设计
综合项目实战从零搭建一个端侧…
30
课程总结与进阶方向
回顾核心知识点 · 探讨联邦学习 · 边缘AI
课程总结进阶方向