VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据非结构化数据清洗实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

非结构化数据概述

什么是非结构化数据、与结构化数据的区别、常见类型（文本、图像、音频、视频）、应用场景。

数据清洗基础

数据质量维度（准确性、完整性、一致性、时效性）、清洗流程概览、Python环境准备（Pandas、NumPy、NLTK、OpenCV）。

文本数据读取

读取TXT文件、读取CSV文件、读取JSON文件、读取PDF文件（PyPDF2）、处理大文件的技巧。

文本数据清洗（上）

去除HTML标签（BeautifulSoup）、去除特殊字符与标点、大小写转换、去除空白字符。

清洗预处理

文本数据清洗（中）

正则表达式入门、常用正则模式、re模块实战、提取与替换文本。

文本数据清洗（下）

拼写纠正（TextBlob）、停用词过滤（NLTK）、词干提取与词形还原、文本标准化。

中文文本处理

中文分词（Jieba）、去除中文停用词、中文词性标注、中文文本编码问题。

图像数据读取

图像文件格式（JPEG、PNG、BMP）、使用OpenCV读取图像、使用PIL读取图像、图像元数据提取。

图像数据清洗（上）

图像去噪（高斯滤波、中值滤波）、图像增强（直方图均衡化）、调整亮度和对比度。

图像数据清洗（下）

图像裁剪与缩放、图像旋转与翻转、去除水印与边框、统一图像尺寸。

几何变换统一

音频数据读取

音频文件格式（WAV、MP3、FLAC）、使用Librosa读取音频、音频波形与频谱、采样率与位深度。

音频数据清洗

音频降噪（谱减法）、静音检测与切除、音量归一化、音频格式统一转换。

降噪归一化

视频数据读取

视频文件格式（MP4、AVI、MOV）、使用OpenCV读取视频、视频帧提取、视频元数据。

视频数据清洗

视频裁剪与缩放、帧率调整、视频去隔行、关键帧提取。

剪辑关键帧

精确去重（哈希法）、模糊去重（SimHash）、文本相似度计算（Levenshtein距离）、图像去重（感知哈希）。

异常值检测与处理

Z-Score方法、IQR方法、基于密度的异常检测（LOF）、异常值处理策略。

缺失值处理

缺失值类型（MCAR、MAR、MNAR）、删除法、填充法（均值、中位数、众数）、插值法（线性插值、KNN插值）。

数据标准化与归一化

Min-Max归一化、Z-Score标准化、RobustScaler、适用于非结构化数据的归一化策略。

缩放归一化

数据格式统一

日期格式统一、数字格式统一、编码格式统一（UTF-8）、命名规范统一。

数据集成与合并

横向合并（列合并）、纵向合并（行合并）、基于键的合并、处理数据冲突。

随机采样、分层采样、过采样（SMOTE）、欠采样、适用于非结构化数据的采样策略。

数据增强（文本）

同义词替换、回译（Back Translation）、随机插入与删除、对抗训练。

数据增强（图像）

旋转、翻转、裁剪、色彩抖动、添加噪声、Mixup与CutMix。

数据增强（音频）

时间拉伸、音高偏移、添加背景噪声、SpecAugment。

数据标注与质量检查

标注工具介绍（LabelImg、LabelStudio）、标注一致性检查、标注错误检测、众包标注质量控制。

数据隐私与安全

数据脱敏（PII识别与替换）、差分隐私、数据加密、合规性检查（GDPR、个人信息保护法）。

数据版本控制

DVC（Data Version Control）入门、数据集版本管理、数据管道追踪、与Git的集成。

数据清洗流水线构建

使用Pandas进行流水线设计、使用Scikit-learn Pipeline、自定义清洗函数、并行处理与加速。

流水线自动化

数据质量评估与监控

数据质量报告生成、数据漂移检测、数据质量仪表盘、自动化监控告警。

综合实战项目

构建一个完整的非结构化数据清洗系统（从原始日志/图片/音频到可用数据集），涵盖清洗、增强、标注、版本控制全流程。