VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

向量数据清洗与预处理全流程

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

向量数据基础

什么是向量数据、向量数据库简介、向量化与嵌入（Embedding）概念、应用场景概览。

数据采集与格式识别

常见向量数据来源（文本、图像、音频）、数据格式解析（JSON、CSV、Parquet）、数据加载与预览。

缺失值处理

检测缺失值、删除策略、填充策略（均值/中位数/众数/前向填充）、向量场景下的特殊处理。

清洗缺失值

异常值检测与处理

基于统计的方法（Z-score、IQR）、基于距离的方法（LOF）、基于密度的方法（DBSCAN）、向量异常值的影响。

重复数据去重

精确去重与模糊去重、基于哈希的去重、基于向量相似度的去重（余弦相似度、欧氏距离）、大规模去重策略。

去重相似度

数据标准化与归一化

Min-Max归一化、Z-score标准化、Robust标准化、向量归一化（L2归一化）及其对检索的影响。

标准化归一化

维度灾难与降维

维度灾难原理、PCA主成分分析、t-SNE可视化降维、UMAP降维、降维后的信息保留评估。

特征工程基础

特征提取与特征选择、数值特征处理、类别特征编码（One-Hot、Label Encoding）、文本特征向量化（TF-IDF、Word2Vec）。

数据增强技术

文本数据增强（回译、同义词替换）、图像数据增强（旋转、裁剪、翻转）、音频数据增强（加噪、变速）、向量空间的数据增强。

增强多模态

数据分割策略

训练集/验证集/测试集划分、分层抽样、时间序列分割、向量检索场景下的分割注意事项。

数据质量评估

完整性检查、一致性检查、准确性评估、时效性评估、向量数据质量指标体系。

数据版本管理

数据版本控制概念、DVC工具使用、数据血缘追踪、回滚与恢复策略。

数据管道构建

ETL与ELT流程、Apache Airflow入门、数据管道监控、向量数据管道的特殊性。

数据隐私与脱敏

敏感数据识别、匿名化与伪匿名化、差分隐私基础、向量数据的隐私保护挑战。

数据标注与校验

标注规范制定、标注工具选择、标注质量评估、主动学习在标注中的应用。

数据不平衡处理

欠采样与过采样、SMOTE算法、集成方法处理不平衡、向量空间中的重采样策略。

时间序列向量数据

时间序列嵌入、滑动窗口处理、季节性调整、时间序列异常检测。

多模态数据对齐

文本-图像对齐、文本-音频对齐、跨模态检索的数据预处理、对齐质量评估。

多模态对齐

大规模数据处理

分布式计算框架（Spark、Dask）、批处理与流处理、内存优化技巧、向量索引的构建预处理。

数据清洗自动化

规则引擎设计、自动化清洗脚本、清洗效果评估、持续集成中的数据清洗。

向量索引构建预处理

IVF索引的数据准备、HNSW索引的数据准备、量化前的数据预处理、索引参数调优的数据基础。

数据漂移检测

概念漂移与数据漂移、统计检测方法（KS检验、PSI）、模型监控中的数据漂移、向量分布漂移可视化。

数据血缘与元数据管理

元数据采集、数据血缘图谱构建、数据目录工具（Apache Atlas、Amundsen）、向量数据的元数据管理。

血缘元数据

数据安全与访问控制

数据加密（传输加密、存储加密）、访问控制策略（RBAC、ABAC）、审计日志、向量数据库的安全特性。

数据预处理性能优化

向量化计算（NumPy、Pandas优化）、并行处理、GPU加速、JIT编译（Numba）。

数据验证与测试

数据验证框架（Great Expectations）、数据质量测试、回归测试、向量相似度测试。

数据文档与报告

数据字典生成、数据质量报告、数据预处理报告自动化、可视化报告工具。

端到端数据管道案例

从原始数据到向量索引的完整流程、电商推荐系统数据预处理、问答系统数据预处理。

案例端到端

前沿技术与趋势

AutoML在数据预处理中的应用、大模型辅助数据清洗、联邦学习中的数据预处理、数据预处理即服务（DPaaS）。

综合实战项目

真实场景数据清洗挑战、项目规划与分工、成果评估与展示、课程总结与进阶路径。