VIP20

本课程属于：091-量化研究员 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据清洗与预处理全流程

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据清洗概述

什么是数据清洗、为什么需要数据清洗、数据清洗的流程与挑战。

数据探索与理解

数据概览、描述性统计、数据类型识别、数据分布分析。

缺失值处理

缺失值识别、可视化、删除与填充（均值、中位数、众数、插值法）。

异常值处理

Z-score、IQR、箱线图识别异常值，删除、修正、封顶策略。

异常检测箱线图

重复数据处理

重复值识别、删除、基于关键列的重复值处理。

去重数据质量

数据类型转换

字符串转数值、日期时间转换、Label Encoding、One-Hot Encoding。

数据标准化与归一化

Min-Max、Z-score、Robust标准化，适用场景对比。

缩放预处理

数据离散化

等宽、等频、自定义区间离散化，独热编码与离散化结合。

分箱特征工程

文本数据预处理

文本清洗、去标点停用词、Jieba分词、词干提取与词形还原。

正则表达式在数据清洗中的应用

常用正则模式、re模块使用、文本提取与替换实战。

日期与时间数据处理

日期格式解析、时间序列重采样、时间差计算、滚动窗口。

时间序列重采样

数据合并与连接

concat、merge、join，内/外/左/右连接实战。

数据重塑与透视

pivot、melt、crosstab、分组聚合与透视表。

数据排序与排名

sort_values、sort_index、rank、多条件排序。

数据分组与聚合

groupby、聚合函数、自定义聚合函数。

数据采样与分割

随机采样、分层采样、训练/测试分割、时间序列分割。

采样数据集

特征工程基础

特征提取、构造、选择（过滤法、包裹法、嵌入法）。

处理不平衡数据

过采样(SMOTE)、欠采样、类别权重、集成方法。

图像数据预处理

图像读取、缩放裁剪、颜色空间转换、数据增强。

时间序列数据清洗

前向/后向填充、插值、异常检测、平滑处理。

时间序列平滑

数据质量评估

完整性、准确性、一致性、时效性，数据质量报告生成。

自动化数据清洗管道

Pipeline构建、自定义清洗函数、参数化清洗流程。

自动化Pipeline

数据清洗中的性能优化

向量化、并行处理、内存优化、Dask处理大数据。

实战案例一：电商用户行为

电商用户行为数据清洗全流程实战。

实战案例二：金融交易数据

金融交易数据清洗与预处理实战。

实战案例三：医疗健康数据

医疗健康数据清洗与预处理实战。

实战案例四：社交媒体文本

社交媒体文本数据清洗与预处理实战。

数据清洗工具与库

Pandas、NumPy、Scikit-learn、OpenRefine、Pandas Profiling。

数据清洗最佳实践

代码规范、文档编写、版本控制、可复现性。

项目总结与展望

项目复盘、常见陷阱、未来趋势（自动化清洗、AI辅助）。