VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体架构下的向量数据处理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

向量数据处理概述

什么是向量数据、向量数据库的兴起、流批一体架构简介、课程目标与适用人群。

向量化基础

Embedding技术原理、文本向量化（Word2Vec/BERT）、图像向量化（CNN/ResNet）、向量维度与相似度度量。

Embedding算法

向量数据库选型

Milvus、Pinecone、Qdrant、Weaviate对比、选型考量因素（性能/成本/生态）、部署模式（云端/本地）。

流批一体架构原理

Lambda架构与Kappa架构、流处理（Flink/Spark Streaming）、批处理（Spark/MapReduce）、流批融合的挑战。

数据管道设计

数据源接入（Kafka/Pulsar）、数据预处理（清洗/归一化）、向量化服务设计、数据写入策略（批量/实时）。

Milvus深度实践

Milvus架构解析（Proxy/IndexNode/DataNode）、Collection与Partition设计、索引类型（IVF/HNSW/ANNOY）、向量搜索API。

Flink集成向量数据库

Flink CDC实时同步、Flink SQL写入Milvus、Flink UDF实现向量化、状态后端与Exactly-Once语义。

Spark批处理向量化

Spark DataFrame向量化、Spark MLlib与向量转换、批量写入优化（Batch Size/并行度）、Spark on Kubernetes。

实时向量检索

近似最近邻搜索（ANN）、检索性能调优（nprobe/efConstruction）、混合查询（标量+向量）、缓存策略。

数据一致性保障

流批数据对齐、Exactly-Once写入、幂等性设计、数据校验与修复机制。

一致性可靠性

向量索引构建与优化

索引构建流程、内存与磁盘索引、索引合并策略、动态索引更新。

分布式向量搜索

分布式架构设计、数据分片与路由、负载均衡、跨机房容灾。

分布式高可用

流批一体ETL

Flink SQL与Spark SQL统一元数据、数据湖（Iceberg/Hudi）集成、增量与全量合并。

监控与运维

Prometheus+Grafana监控Milvus、Flink/Spark作业监控、日志聚合（ELK）、告警规则设计。

性能基准测试

测试工具（VectorDBBench）、测试场景设计、吞吐量与延迟分析、资源规划建议。

安全与权限控制

TLS加密传输、RBAC权限模型、数据脱敏、审计日志。

多模态向量处理

文本+图像联合检索、跨模态Embedding对齐、多模态数据管道设计。

多模态检索

时间序列向量数据

时序数据向量化、滑动窗口检索、异常检测场景、TSDB与向量数据库融合。

时序异常检测

图数据与向量结合

图神经网络（GNN）向量生成、图数据库（Neo4j）与向量数据库协同、知识图谱检索。

大规模向量聚类

K-Means向量聚类、DBSCAN向量聚类、聚类结果可视化、聚类在推荐中的应用。

向量数据版本管理

数据版本控制（Delta Lake）、回滚机制、A/B测试数据隔离、Schema演进。

成本优化策略

冷热数据分层、压缩算法（PQ/SQ）、实例规格选择、预留实例与Spot实例。

混合云部署

公有云+私有云架构、数据同步策略、跨云检索、合规性考量。

混合云部署

实时特征工程

Flink实时特征计算、特征存储（Feast）、特征与向量联动、特征时效性管理。

向量搜索在推荐系统中的应用

召回阶段向量检索、粗排与精排、多路召回融合、实时个性化推荐。

向量搜索在NLP中的应用

语义搜索、问答系统、文档去重、情感分析向量化。

向量搜索在CV中的应用

以图搜图、人脸识别、视频指纹、目标检测向量化。

故障排查与调优

常见错误（OOM/超时/索引失败）、慢查询分析、资源争抢解决、最佳实践清单。

Serverless向量数据库、GPU加速向量检索、大模型与向量融合、AI Native数据架构。

综合实战项目

构建一个实时商品推荐系统（数据流→向量化→检索→展示），涵盖全流程设计与实现。