VIP20
本课程属于：005-科学数据分析与计算可视化 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

多源实验数据清洗与格式标准化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与实验数据全景
多源实验数据的典型来源（仪器导出 · 人工记录 · 数据库
课程导入实验数据全景
02
实验数据质量维度与评估框架
完整性 · 准确性 · 一致性
实验数据质量维度评估框架
03
数据探查与剖析实战
使用描述性统计 · 频率分布 · 缺失值矩阵
数据探查剖析实战
04
缺失值处理策略与实战
缺失机制识别（MCAR · MAR · MNAR）
缺失值处理策略MCAR
05
异常值检测与处理
基于统计（Z-score · IQR） · 基于距离（KNN）
异常值检测处理
06
重复记录识别与去重
完全重复与近似重复的判定 · 基于关键字段 · 相似度计算（编辑距离
重复记录识别去重
07
数据一致性校验与冲突解决
多源数据字段冲突（单位 · 命名 · 编码）的检测
数据一致性校验冲突解决
08
格式标准化总论
标准格式的定义（如ISO 8601日… · SI单位 · UTF-8编码）
格式标准化总论ISO
09
字符编码与文本清洗
编码检测与转换（UTF-8 · GBK · Latin-1）
字符编码文本清洗
10
日期与时间格式标准化
解析多种日期时间表示（时间戳 · 字符串 · Excel序列号）
日期时间格式标准化
11
数值与单位标准化
数值格式解析（千分位 · 科学计数法 · 百分比）
数值单位标准化
12
分类数据与编码标准化
类别名称规范化（同义词合并 · 拼写纠正） · 编码映射（如性别M/F到Male/F…
分类数据编码标准化
13
实验数据表结构标准化
宽表与长表转换 · 列名规范化（蛇形命名 · 去除特殊字符）
实验数据表结构标…宽表
14
多源数据集成与模式对齐
模式匹配与映射 · 实体识别与消歧 · 数据融合（合并
多源数据集成模式对齐
15
基于Pandas的数据清洗综合实战
使用Pandas完成一个多源实验数据… · 异常值 · 重复值
Pandas基于
16
使用OpenRefine进行交互式数据清洗
导入多源数据 · 利用分面 · 聚类
OpenRefine使用
17
正则表达式在数据清洗中的高级应用
提取 · 替换 · 验证复杂模式（如实验编号
正则表达式数据清洗
18
数据清洗流程的自动化与脚本化
编写可复用的清洗脚本（Python函… · 使用配置文件管理清洗规则 · 日志记录与错误处理
数据清洗流程的自…脚本化
19
数据清洗质量验证与报告
清洗前后对比指标（缺失率 · 唯一值数 · 格式合规率）
数据清洗质量验证报告
20
实验数据标准化文档与元数据管理
编写数据字典 · 标准化操作规范（SOP） · 元数据标注（单位
实验数据标准化文…元数据管理
21
案例实战
环境监测多源数据清洗与标准化 · 水质传感器 · 实验室分析数据
案例实战环境监测多源数据…
22
案例实战
生物实验多组学数据清洗与标准化 · 蛋白质组学 · 代谢组学数据
案例实战生物实验多组学数…
23
案例实战
材料科学实验数据清洗与标准化 · SEM · 力学测试等多模态数据
案例实战材料科学实验数据…
24
案例实战
临床检验多源数据清洗与标准化 · 手工记录 · 研究数据库数据
案例实战临床检验多源数据…
25
大数据环境下的实验数据清洗
使用PySpark或Dask处理超大… · 分布式缺失值处理 · 异常检测
大数据环境下的实…PySpark
26
数据清洗中的隐私与安全
脱敏技术（掩码 · 哈希 · 泛化）
数据清洗隐私
27
数据版本控制与可复现性
使用Git管理清洗脚本与配置 · DVC管理数据版本 · 记录清洗步骤与参数
数据版本控制可复现性
28
数据清洗工具生态对比与选型
Pandas · OpenRefine · Trifacta
数据清洗工具生态…选型
29
构建实验数据清洗流水线
使用工作流引擎（如Airflow · Prefect）编排清洗任务 · 实现调度
构建实验数据清洗…Airflow
30
课程总结与综合项目
回顾核心清洗与标准化技术 · 完成一个端到端的综合项目（从多源原始… · 提交清洗报告与标准化文档
课程总结综合项目