VIP20
本课程属于：023-NGS变异流程批次质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据合并前清洗去重与一致性检查

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据加载与初步探索
掌握从CSV · Excel · 数据库等源加载数据
数据加载初步探索
02
数据概览与质量报告生成
使用Pandas Profile · 自定义函数生成数据质量报告 · 识别潜在问题
数据概览质量报告生成
03
缺失值识别与分析
通过可视化 · 统计方法定位缺失模式 · 评估缺失率与缺失机制
缺失值识别分析
04
缺失值处理方法
删除与填充：实践简单删除 · 均值/中位数填充 · 前向/后向填充等策略
缺失值处理方法删除
05
异常值检测
统计方法：利用Z-Score · IQR · 箱线图等传统方法识别离群点
异常值检测Z-Score
06
异常值检测
基于模型的方法 · LOF等算法检测复杂异常
异常值检测基于模型的方法
07
重复数据检测与去重
基于单列或多列组合的重复判断 · 保留唯一记录并记录去重日志
重复数据检测去重
08
数据类型一致性检查与转换
统一数值 · 字符 · 日期等字段类型
数据类型一致性检…转换
09
编码问题处理
字符编码统一：解决UTF-8 · GBK · Latin-1等编码混乱导致的乱码问…
编码问题处理UTF-8
10
字段重命名与标准化
统一列名格式（snake_case · 全小写） · 剔除不可见字符
字段重命名标准化
11
时间序列数据预处理
解析不同时间格式 · 时区转换 · 重采样与缺失时间戳处理
时间序列数据预处…解析不同时间格式
12
文本数据清洗
去除空白 · 特殊字符：处理HTML标签 · 不规范换行
文本数据清洗去除空白
13
分类变量编码
Label Encoding与One…
分类变量编码Label
14
数值变量缩放
标准化与归一化：Min-Max · Z-Score · Robust Scaler等适用场景
数值变量缩放Min-Max
15
特征工程
衍生变量创建：基于业务逻辑构造比例 · 差值 · 聚合统计等新特征
特征工程衍生变量创建
16
数据合并基础
Merge操作 · how · suffixes等参数用法
数据合并基础Merge
17
键冲突处理与策略
处理重复键 · 多对多关系 · 以及合并后的索引重置
键冲突处理策略
18
多表合并
Left/Right/Inner/O…
多表合并Left/Right/I…
19
数据拼接
Concatenation与Appe… · 对齐索引与列名
数据拼接Concatenatio…
20
轴对齐与索引处理
理解默认索引与自定义索引在合并中的作… · 避免数据错位
轴对齐索引处理
21
数据分箱与离散化
等宽 · 等频 · 自定义分箱
数据分箱离散化
22
数据变换
对数变换 · Box-Cox：处理偏态分布 · 使数据更适配合并后的统计分析
数据变换对数变换
23
数据聚合与分组预处理
在合并前对子数据集进行分组统计 · 减少后续运算量
数据聚合分组预处理
24
内存优化
数据类型选择与压缩 · 下采样 · 分块读取降低内存占用
内存优化数据类型选择
25
并行处理与性能优化
利用Pandas多核 · Dask并行化数据加载与清洗步骤
并行处理性能优化
26
数据验证规则
Schema与约束：定义字段类型 · 取值范围 · 唯一性等规则并自动校验
数据验证规则Schema
27
质控指标计算
完整性 · 一致性 · 准确性
质控指标计算完整性
28
自动化质控报告生成
使用Jinja2 · Matplotlib输出HTML/P…
自动化质控报告生…Jinja2
29
错误处理与日志记录
捕获预处理中的异常 · 记录详细的处理流水与警告信息
错误处理日志记录
30
综合实战案例
从原始数据到合并样本：整合全部流程 · 处理两个真实数据集并完成合并
综合实战案例从原始数据到合并…