VIP20
本课程属于:038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AI数据RAG索引构建与优化

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
RAG索引基础
什么是索引、为什么需要索引、索引在RAG中的核心作用。
核心概念检索基石
02
文档解析与预处理
PDF/HTML/Word解析、文本清洗、段落分割策略。
数据清洗解析
03
文本分块策略
固定大小分块、语义分块、递归分块、分块大小对检索的影响。
分块语义
04
向量化与嵌入模型
文本嵌入原理、常用嵌入模型对比(/BGE/Cohere)、嵌入维度选择。
嵌入模型对比
05
向量数据库选型
FAISS、Pinecone、Weaviate、Milvus、Qdrant对比与选型指南。
数据库选型
06
索引结构设计
扁平索引、IVF索引、HNSW索引、乘积量化(PQ)索引。
索引结构HNSW
07
元数据过滤与混合检索
结构化元数据过滤、关键字+向量混合检索、RRF融合策略。
混合检索RRF
08
索引优化
索引压缩、量化技术、索引参数调优(efConstruction、M等)。
调优压缩
09
索引更新与维护
增量索引、批量重建、索引版本管理、数据一致性。
增量版本管理
10
多模态索引
文本+图像+表格的联合索引、跨模态检索策略。
多模态跨模态
11
索引评估指标
召回率、精确率、MRR、NDCG、检索延迟与吞吐量。
评估NDCG
12
索引监控与可观测性
索引健康检查、检索质量监控、异常检测。
监控可观测
13
索引安全与权限控制
索引加密、访问控制、数据脱敏。
安全权限
14
索引成本优化
存储成本、计算成本、API调用成本优化策略。
成本优化
15
索引扩展性设计
水平扩展、分片策略、负载均衡。
扩展性分片
16
索引与LLM的协同
检索增强生成中的索引角色、上下文窗口与索引块大小匹配。
LLMRAG
17
索引缓存策略
结果缓存、嵌入缓存、LRU缓存、缓存失效策略。
缓存LRU
18
索引测试与基准测试
构建测试数据集、自动化测试流水线、性能基准测试。
测试基准
19
索引部署与运维
Docker化部署、Kubernetes编排、CI/CD集成。
部署K8s
20
索引故障排查
常见索引问题、诊断工具、日志分析。
故障诊断
21
索引与知识图谱融合
实体链接、关系索引、图检索增强。
知识图谱图检索
22
索引的A/B测试
不同索引策略对比、实验设计、统计显著性检验。
A/B测试实验
23
索引的冷启动问题
初始索引构建、小样本优化、迁移学习。
冷启动迁移学习
24
索引的实时性
流式索引、近实时检索、事件驱动更新。
实时流式
25
索引的多语言支持
跨语言嵌入、多语言分块策略、语言检测。
多语言跨语言
26
索引的版本回滚
索引快照、回滚机制、灰度发布。
回滚灰度
27
索引的自动化调优
AutoML调参、贝叶斯优化、强化学习调优。
AutoML调优
28
索引的合规性
GDPR合规、数据保留策略、审计日志。
合规GDPR
29
索引的灾难恢复
备份策略、异地容灾、故障转移。
容灾备份
30
索引的未来趋势
AI原生索引、自适应索引、索引即服务(IaaS)。
趋势AI原生