VIP20

本课程属于：035-设备身份治理平台 物联网安全与设备身份认证 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

设备目录数据清洗与质量提升

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据清洗概述

什么是数据清洗、为什么需要数据清洗、数据清洗的常见挑战与价值。

设备目录数据特点

设备目录的数据结构、常见字段（设备名称、型号、序列号、厂商等）、数据质量问题分类。

数据结构分类

数据质量维度

完整性、准确性、一致性、时效性、唯一性——五大维度的定义与评估方法。

数据剖析与探索

使用Pandas进行数据概览、describe()、info()、缺失值统计、唯一值分析。

缺失值处理

缺失值识别、删除缺失值、均值/中位数/众数填充、前向/后向填充、插值法。

缺失值填充

重复数据处理

重复行检测、基于关键字段去重、保留最新记录、模糊重复识别。

异常值检测与处理

Z-score方法、IQR方法、业务规则过滤、异常值替换与修正。

数据类型转换

字符串转数值、日期时间解析、分类数据编码、统一单位换算。

文本数据清洗

去除空格与特殊字符、大小写统一、拼写纠错、同义词替换。

设备名称标准化

命名规则制定、品牌型号提取、去除冗余信息、建立标准名称库。

标准化命名

厂商信息清洗

厂商名称统一、别名映射、厂商信息补全、厂商分类。

序列号与资产编码清洗

格式校验、编码规则解析、序列号去重、资产编码生成。

日期与时间数据清洗

日期格式统一、时间戳转换、过期数据标记、时间范围校验。

数据关联与合并

多表关联、主键匹配、外键约束、合并冲突解决。

数据验证规则设计

业务规则定义、字段级验证、跨字段验证、自定义验证函数。

数据质量评分体系

评分指标设计、权重分配、自动化评分脚本、质量报告生成。

数据清洗流程自动化

Python脚本封装、参数化配置、定时任务调度、日志记录。

自动化调度

使用Pandas进行高效清洗

向量化操作、apply函数、groupby清洗、管道操作。

使用NumPy进行数值清洗

缺失值处理、条件替换、数组运算、统计计算。

正则表达式在清洗中的应用

模式匹配、提取与替换、复杂文本解析、性能优化。

数据清洗中的编码问题

常见编码格式、编码检测、编码转换、乱码修复。

大数据量清洗策略

分块处理、内存优化、并行计算、数据库端清洗。

大数据优化

数据清洗与ETL流程

ETL概念、清洗在ETL中的位置、与数据仓库的集成。

数据血缘与溯源

数据来源追踪、清洗操作记录、数据版本管理、审计日志。

数据清洗工具对比

Python vs Excel vs OpenRefine vs SQL——优缺点与适用场景。

设备目录数据治理框架

数据标准、数据字典、元数据管理、治理组织架构。

数据清洗项目实战（一）

从CSV文件读取设备数据、初步探索与质量评估。

数据清洗项目实战（二）

缺失值填充、重复删除、异常值处理、名称标准化。

数据清洗项目实战（三）

数据验证、质量评分、清洗报告生成、结果导出。

数据清洗最佳实践与持续改进

清洗流程文档化、监控告警、定期复盘、团队协作规范。

最佳实践改进