VIP20
本课程属于:038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AI数据RAG索引性能调优手册

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
索引基础
什么是RAG索引、为什么需要索引、索引的核心组件:文档存储、向量存储、元数据存储。
入门核心组件
02
索引策略选择
稠密索引 vs 稀疏索引、倒排索引 vs 向量索引、混合索引策略的适用场景。
策略对比
03
文档预处理
文本清洗、分句与分块策略、块大小对检索性能的影响。
预处理分块
04
分块策略优化
固定大小分块、语义分块、递归分块、滑动窗口分块详解。
分块优化
05
分块重叠技术
为什么需要重叠、重叠比例调优、重叠对召回率的影响。
重叠召回率
06
向量化模型选择
Embedding模型对比:BERT、Sentence-BERT、 Ada、开源模型;模型大小与性能权衡。
模型Embedding
07
向量维度调优
高维 vs 低维向量、维度对检索速度的影响、降维技术(PCA、量化)。
维度降维
08
索引数据结构
Flat索引、IVF索引、HNSW索引、PQ索引、混合索引结构对比。
数据结构算法
09
HNSW参数调优
M参数(连接数)、efConstruction、efSearch、内存占用分析。
HNSW参数
10
IVF参数调优
nlist(聚类中心数)、nprobe(搜索探针数)、聚类算法选择。
IVF聚类
11
量化技术
标量量化(SQ)、乘积量化(PQ)、残差量化、量化对精度的影响。
量化压缩
12
索引构建策略
批量构建 vs 增量构建、构建速度优化、内存管理。
构建增量
13
索引压缩技术
向量压缩、文档压缩、元数据压缩、压缩比与性能权衡。
压缩存储
14
缓存策略
向量缓存、结果缓存、LRU缓存、缓存命中率优化。
缓存LRU
15
并发与并行
多线程索引构建、并行检索、GPU加速索引、分布式索引。
并发GPU
16
索引更新策略
全量重建、增量更新、删除与更新操作、版本控制。
更新版本
17
元数据过滤
元数据设计原则、过滤条件优化、过滤与检索的协同。
元数据过滤
18
混合检索策略
稀疏+稠密混合、加权融合、Rerank策略、多阶段检索。
混合Rerank
19
检索精度调优
Top-K选择、相似度阈值、分数归一化、结果去重。
精度调优
20
延迟优化
网络延迟、磁盘I/O优化、内存索引、预加载策略。
延迟I/O
21
内存管理
索引内存占用分析、内存映射文件、分片与分区、内存回收。
内存映射
22
磁盘索引优化
SSD vs HDD、索引文件格式、顺序读写优化、压缩存储。
磁盘SSD
23
索引分片策略
基于文档ID分片、基于向量聚类分片、动态分片、分片均衡。
分片均衡
24
索引备份与恢复
快照备份、增量备份、故障恢复、数据一致性。
备份容灾
25
监控与指标
索引构建时间、检索延迟、召回率、内存使用率、QPS监控。
监控指标
26
性能基准测试
测试数据集选择、测试指标定义、对比实验设计、结果分析。
基准测试
27
常见性能瓶颈
CPU瓶颈、内存瓶颈、磁盘瓶颈、网络瓶颈、定位方法。
瓶颈定位
28
生产环境调优
容器化部署、资源限制、自动扩缩容、灰度发布。
生产K8s
29
多模态索引
文本+图像索引、跨模态检索、多模态向量对齐、索引统一管理。
多模态跨模态
30
前沿趋势
Learned Index、图神经网络索引、自适应索引、Serverless索引架构。
前沿趋势
专注课程资料整理