VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大规模向量检索的任务调度实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

向量检索基础

向量化概念、Embedding模型、余弦/欧式/内积相似度，推荐、搜索与RAG应用场景。

Embedding相似度

任务调度基础

队列、Worker、调度器核心概念；Master-Worker与DAG模型；FIFO、优先级、负载均衡策略。

分布式调度策略

向量检索系统架构

单机与分布式架构，索引构建与查询分离，实时索引与批量索引设计。

任务调度与向量检索结合

检索任务生命周期、拆分合并、优先级管理、超时与重试机制。

生命周期重试

性能优化与监控

调度性能指标、资源利用率、延迟优化，监控告警体系搭建。

实战案例：Faiss/Milvus/RAG

基于Faiss与Milvus的调度系统，大规模RAG任务调度实践。

向量检索任务调度进阶

GPU资源调度、异构计算、弹性伸缩、数据一致性。

GPU异构弹性

最佳实践：生产部署与高可用

生产环境要点、容灾高可用、成本优化与未来趋势。

高可用容灾

常见面试题解析、系统设计思路、项目经验总结。

面试系统设计

总结与展望

课程回顾、技术演进方向、学习路径推荐。

实战：Redis/Kafka/Celery队列

基于Redis的向量检索任务队列、Kafka任务流、Celery调度。

RedisKafkaCelery

监控：Prometheus & Grafana

Prometheus监控任务、Grafana可视化调度指标、告警规则配置。

PrometheusGrafana

调度优化：算法与资源分配

调度算法优化、资源分配策略、调度器性能提升。

任务调度安全

权限控制、数据安全与隐私保护、安全审计。

测试：单元/集成/压力/混沌

单元测试、集成测试、压力测试、混沌工程。

部署：Docker/K8s/云原生

Docker部署、Kubernetes编排、云原生实践。

运维：日志/故障/调优

日志管理、故障排查、性能调优。

案例：电商/搜索/RAG

电商推荐、搜索引擎、RAG系统调度案例。

工具：Faiss/Milvus/Pinecone/Weaviate/Qdrant

主流向量检索工具对比与实践。

FaissMilvusPinecone

框架：Ray/Dask/Celery/Airflow

分布式调度框架选型与集成。

系统设计：原则/架构/接口

设计原则、架构设计、接口规范。

实现：代码/测试/部署

完整实现流程：编码、测试、部署上线。

优化：性能/成本/稳定性

性能、成本、稳定性三维优化。

监控：指标/工具/告警

监控指标体系、常用工具、告警策略。

安全：策略/工具/实践

安全策略、工具链、最佳实践。

运维：工具/流程/实践

运维工具、标准化流程、实战经验。

案例：推荐/搜索/RAG

推荐系统、搜索系统、RAG系统调度案例。

工具：Faiss/Milvus/Pinecone/Weaviate/Qdrant

深入工具特性与调度集成。

框架：Ray/Dask/Celery/Airflow

框架对比、选型建议与实战。

总结：回顾/演进/路径

课程回顾、技术演进、学习路径推荐。