VIP20
本课程属于：010-特征工程平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

机器学习训练集构建与数据质量治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据采集陷阱
爬虫合法性边界、API调用频率限制、公开数据集版权问题、数据隐私合规（GDPR/PIPL）。
合规爬虫隐私
02
数据清洗误区
缺失值处理策略（删除 vs 填充）、异常值检测方法（3σ vs IQR）、重复数据去重逻辑、标准化/归一化选择。
清洗异常检测归一化
03
标注质量管控
标注标准制定（SOP）、标注一致性检验（Kappa系数）、标注员培训与考核、众包标注质量控制。
SOPKappa众包
04
数据不平衡处理
欠采样/过采样策略、SMOTE及其变体、代价敏感学习、集成方法处理不平衡。
SMOTE采样集成
05
特征工程盲区
特征选择方法（过滤式/包裹式/嵌入式）、特征交叉与组合、时间序列特征构造、文本特征向量化陷阱。
特征选择交叉向量化
06
数据泄露防范
时间穿越泄露、特征泄露（未来信息）、数据划分泄露、预处理泄露。
泄露时间穿越划分
07
数据增强技巧
图像增强（翻转/旋转/裁剪）、文本增强（回译/同义词替换）、音频增强（加噪/变速）、增强策略选择。
图像文本音频
08
数据版本管理
数据集版本控制（DVC）、数据血缘追踪、数据快照与回滚、元数据管理。
DVC血缘快照
09
数据分布漂移
协变量漂移检测、标签漂移检测、概念漂移检测、模型监控与重训练策略。
漂移监控重训练
10
数据安全与隐私
数据脱敏技术（k-匿名/l-多样性）、差分隐私、联邦学习基础、数据加密存储。
脱敏差分隐私联邦学习
11
多模态数据融合
图文对齐问题、模态缺失处理、异构数据标准化、多模态特征融合策略。
多模态对齐融合
12
时序数据构建
滑动窗口大小选择、预测步长设定、序列填充策略、时间特征编码。
滑动窗口步长编码
13
图数据构建
节点特征设计、边关系定义、图采样策略、图数据增强。
图神经网络采样增强
14
数据管道设计
数据流水线架构（ETL/ELT）、数据缓存策略、增量更新机制、数据质量监控。
ETL缓存增量
15
数据标注工具选型
开源 vs 商业工具、标注效率评估、标注格式兼容性、API集成能力。
工具效率API
16
数据增强过度问题
增强样本真实性、标签保持性、增强强度控制、无效增强识别。
过增强标签保持强度
17
数据偏见消除
数据采集偏见、标注偏见、算法偏见、公平性评估指标。
偏见公平性评估
18
数据存储优化
数据压缩策略、存储格式选择（Parquet/ORC/AVRO）、分区与分桶、冷热数据分离。
Parquet分区压缩
19
数据采样策略
随机采样 vs 分层采样、蓄水池采样、重要性采样、采样偏差修正。
采样分层偏差
20
数据质量评估
数据完整性、一致性、准确性、时效性、唯一性评估框架。
质量完整性一致性
21
数据标注格式
COCO格式、Pascal VOC格式、YOLO格式、TFRecord格式选择与转换。
COCOVOCYOLO
22
数据增强自动化
AutoAugment策略、RandAugment策略、基于学习的增强搜索、增强策略迁移。
AutoAugmentRandAugment搜索
23
数据隐私计算
安全多方计算、同态加密基础、可信执行环境、数据沙箱技术。
多方计算同态加密沙箱
24
数据合成技术
GAN生成数据、扩散模型生成、规则合成数据、仿真数据生成。
GAN扩散模型仿真
25
数据标注成本控制
主动学习策略、弱监督学习、半监督学习、预标注+人工校验。
主动学习弱监督预标注
26
数据血缘追踪
数据来源记录、数据变换记录、数据消费记录、血缘可视化。
血缘溯源可视化
27
数据测试集构建
测试集独立性保证、测试集分布代表性、测试集规模确定、测试集版本管理。
测试集独立性版本
28
数据预处理流水线
预处理步骤顺序、可复现性保证、预处理参数保存、线上-线下一致性。
流水线复现一致性
29
数据标注争议处理
标注争议仲裁机制、标注置信度评估、标注回滚机制、标注质量持续改进。
仲裁置信度回滚
30
数据合规审计
数据来源合规、数据处理合规、数据存储合规、数据销毁合规。
审计合规销毁