所属分类：综合补充资料 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

AI训练数据清洗与质量控制

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 数据质量在AI项目中的重要性及典型痛…
课程导入学习目标
02
数据质量基础
数据质量维度（准确性 · 完整性 · 一致性
数据质量基础数据质量维度
03
数据清洗概述
清洗定义 · 清洗流程 · 清洗与预处理/特征工程的区别与联系
数据清洗概述清洗定义
04
数据采集与标注中的质量问题
采集偏差 · 标注噪声 · 标注不一致
数据采集标注
05
数据探索与质量审计
使用统计摘要 · 可视化 · 数据画像（Data Profilin…
数据探索质量审计
06
缺失值处理
缺失机制（MCAR/MAR/MNAR… · 缺失率评估 · 删除/填充/插补方法（均值
缺失值处理MCAR/MAR/MNA…
07
异常值检测与处理
基于统计（Z-score · IQR） · 距离（KNN）
异常值检测处理
08
重复数据检测与去重
精确匹配 · 模糊匹配 · 基于相似度（编辑距离
重复数据检测去重
09
数据一致性处理
格式统一 · 单位转换 · 编码统一
数据一致性处理格式统一
10
噪声数据清洗
文本噪声（拼写错误 · 特殊字符） · 图像噪声（模糊
噪声数据清洗文本噪声
11
数据转换与标准化
归一化 · 标准化 · 离散化
数据转换标准化
12
数据标注质量控制
标注规范制定 · 标注员培训 · 标注一致性评估（Kappa系数）
数据标注质量控制标注规范制定
13
数据增强与平衡
类别不平衡问题 · 过采样/欠采样 · SMOTE
数据增强平衡
14
数据版本管理与溯源
数据版本控制 · 数据血缘（Lineage） · 清洗过程记录
数据版本管理溯源
15
数据清洗工具与框架
Pandas · OpenRefine · Trifacta
数据清洗工具框架
16
自动化数据质量监控
质量规则定义 · 监控指标 · 告警机制
自动化数据质量监…质量规则定义
17
隐私与安全合规
数据脱敏 · 匿名化 · 差分隐私
隐私安全合规
18
领域特定清洗（文本）
文本清洗流程（去HTML · 去停用词 · 词形还原）
领域特定清洗文本
19
领域特定清洗（图像与视频）
图像尺寸统一 · 裁剪 · 去水印
领域特定清洗图像
20
领域特定清洗（语音与音频）
音频格式转换 · 降噪 · 静音检测
领域特定清洗语音
21
领域特定清洗（结构化数据）
数据库表清洗 · 时间序列数据清洗（缺失 · 异常
领域特定清洗结构化数据
22
数据清洗实战案例（分类任务）
从原始数据到高质量训练集的完整清洗流… · 包括问题诊断与效果对比
数据清洗实战案例分类任务
23
数据清洗实战案例（生成式AI）
大模型训练数据清洗（去重 · 毒性过滤 · 隐私过滤
AI数据清洗实战案例
24
数据清洗实战案例（推荐系统）
用户行为数据清洗（点击 · 购买 · 评分）中的噪声处理与偏差校正
数据清洗实战案例推荐系统
25
数据质量对模型性能的影响
通过实验对比不同清洗策略下模型精度 · 鲁棒性 · 公平性的变化
数据质量对模型性…通过实验对比不同…
26
常见数据清洗误区与陷阱
过度清洗 · 信息丢失 · 引入偏差
常见数据清洗误区陷阱
27
数据清洗的自动化与智能化
基于规则 · 机器学习 · LLM辅助的清洗方法
数据清洗的自动化智能化
28
数据清洗项目实战
从需求分析 · 清洗方案设计 · 执行
数据清洗项目实战从需求分析
29
综合练习与评估
基于真实数据集完成清洗任务 · 撰写质量报告 · 并进行小组互评与优化
综合练习评估
30
课程总结与进阶路径
核心知识回顾 · 常见面试题解析 · 学习资源推荐
课程总结进阶路径