VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多模态向量的统一存储与检索

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

多模态向量检索概述

什么是多模态数据、为什么需要统一存储与检索、核心应用场景（图文搜索、跨模态推荐、智能问答）。

图文搜索跨模态智能问答

向量化基础

Embedding技术原理、文本向量化（BERT/CLIP）、图像向量化（ResNet/ViT）、音频向量化（Wav2Vec）。

BERTCLIPResNetViT

向量数据库选型

主流向量数据库对比（Milvus、FAISS、Qdrant、Weaviate）、选型考量因素（性能、扩展性、成本）。

MilvusFAISSQdrantWeaviate

统一存储架构设计

多模态数据统一Schema设计、元数据管理、存储分层策略（热/温/冷数据）。

Schema元数据分层存储

索引构建与优化

IVF_FLAT、HNSW、PQ索引原理、索引参数调优、内存与磁盘索引策略。

IVF_FLATHNSWPQ调优

相似度检索算法

余弦相似度、欧氏距离、内积距离、L2距离、选择合适的距离度量。

余弦欧氏距离内积L2

混合检索技术

向量检索+关键词检索（BM25）、多路召回融合、Rerank策略。

BM25多路召回Rerank

多模态数据预处理

图像标准化与增强、文本清洗与分词、音频降噪与特征提取、统一数据管道构建。

图像增强文本清洗音频降噪

Embedding模型微调

对比学习（Contrastive Learning）、三元组损失（Triplet Loss）、领域自适应微调。

对比学习Triplet Loss微调

大规模向量检索系统

分布式部署、分片与副本策略、负载均衡、水平扩展实践。

分布式分片负载均衡

实时索引更新

增量索引构建、流式数据处理、索引合并与优化、数据一致性保证。

增量索引流式一致性

近似最近邻搜索（ANN）

ANN算法对比、精度与速度权衡、召回率评估、实际调优案例。

ANN召回率调优

多模态特征对齐

跨模态映射、共享语义空间构建、对齐损失函数、对齐质量评估。

跨模态语义空间对齐损失

检索结果排序与过滤

多级排序策略、业务规则过滤、动态阈值调整、A/B测试框架。

排序过滤A/B测试

缓存与加速策略

向量缓存设计、LRU/LFU缓存、GPU加速推理、SSD缓存优化。

LRUGPU加速SSD

安全与权限控制

数据加密（传输/存储）、访问控制列表（ACL）、审计日志、合规性要求。

加密ACL审计

监控与运维

性能指标监控（QPS、延迟、召回率）、告警策略、日志分析、容量规划。

QPS延迟告警

多模态数据版本管理

数据版本控制、回滚机制、数据血缘追踪、实验管理平台。

版本控制血缘实验管理

跨模态检索实战

文本搜图、图搜文本、图文联合检索、多模态推荐系统案例。

文本搜图图搜文本推荐系统

视频向量化与检索

视频帧采样策略、时空特征提取、视频片段检索、关键帧索引。

帧采样时空特征关键帧

3D模型与点云检索

3D特征提取（PointNet++）、体素化表示、形状检索应用。

PointNet++体素化形状检索

多模态检索评估体系

评估指标（Recall@K、MRR、NDCG）、测试集构建、人工评估流程。

Recall@KMRRNDCG

大规模数据标注与管理

半自动标注工具、主动学习策略、标注质量控制、数据增强。

主动学习标注数据增强

模型压缩与量化

知识蒸馏、模型量化（INT8/FP16）、剪枝策略、边缘端部署优化。

蒸馏INT8剪枝

联邦学习与隐私保护

联邦向量检索、差分隐私、安全多方计算、隐私保护下的检索。

联邦学习差分隐私安全多方

多模态检索在电商场景

商品图文搜索、以图搜图、穿搭推荐、多模态属性提取。

以图搜图穿搭推荐属性提取

多模态检索在医疗场景

医学影像检索、病历文本匹配、跨模态诊断辅助、多模态报告生成。

医学影像病历诊断辅助

多模态检索在内容安全

违规内容检测、跨模态审核、深度伪造识别、多模态指纹。

内容审核深度伪造指纹

前沿趋势与未来方向

多模态大模型（、Gemini）、检索增强生成（RAG）、具身智能检索。

综合项目实战

从零搭建多模态检索系统、需求分析、架构设计、编码实现、部署上线、性能调优全流程。

全流程架构部署调优