VIP20

本课程属于：039-向量数据工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

搭建Embedding生产管道

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Embedding基础

什么是Embedding、为什么需要Embedding、Embedding在NLP中的核心地位。

核心概念NLP

文本预处理

分词技术（Jieba、spaCy）、去除停用词、文本清洗与标准化。

预处理分词

词袋（BoW）原理、CountVectorizer实战、TF-IDF原理与实现。

特征提取TF-IDF

CBOW与Skip-gram架构、负采样与层次Softmax、Gensim库快速上手。

词向量Gensim

训练自己的词向量、模型保存与加载、词向量可视化（t-SNE）。

实战可视化

GloVe与FastText

GloVe原理与使用、FastText子词信息、三种模型对比。

句子与文档Embedding

平均词向量、TF-IDF加权平均、Doc2Vec模型。

句子向量Doc2Vec

BERT与Transformer

Transformer架构速览、BERT的预训练任务、HuggingFace Transformers库。

预训练HuggingFace

SBERT原理、语义相似度计算、使用sentence-transformers库。

语义相似度SBERT

Embedding评估

内在评估（词类比、相似度）、外在评估（下游任务）、评估数据集。

Embedding存储

向量数据库简介（FAISS、Milvus、Pinecone）、索引类型（IVF、HNSW）。

向量数据库索引

安装与基础使用、构建索引、相似性搜索、性能调优。

Milvus架构、集合与分区、数据插入与查询。

Milvus分布式

Embedding生产管道设计

管道架构设计、数据流与批处理、实时与离线场景。

数据采集与清洗

多源数据接入（API、数据库、文件）、去重与质量检查。

数据工程清洗

管道编排工具

Apache Airflow基础、DAG定义、任务调度与监控。

Embedding生成服务

模型服务化（Flask/FastAPI）、批量推理与异步处理、缓存策略。

服务化FastAPI

大规模Embedding生成

分布式计算（Spark）、数据分片与并行处理、资源管理。

Embedding更新策略

增量更新、全量重建、版本管理与回滚。

版本管理增量

质量监控与告警

Embedding漂移检测、数据质量指标、告警系统集成。

Embedding在搜索中的应用

语义搜索原理、召回与排序、混合搜索（BM25+向量）。

Embedding在推荐中的应用

用户与物品Embedding、协同过滤、向量召回。

推荐协同过滤

Embedding在RAG中的应用

检索增强生成架构、文档分块策略、检索与生成融合。

多模态Embedding

CLIP模型原理、图文对齐、多模态搜索。

Embedding压缩与量化

模型量化（INT8）、知识蒸馏、降维（PCA、UMAP）。

安全与隐私

Embedding逆向攻击、差分隐私、数据脱敏。

计算资源优化、存储成本控制、API调用成本管理。

电商搜索系统、智能客服FAQ、内容推荐系统。

性能基准测试

延迟与吞吐量测试、召回率与准确率评估、A/B测试设计。

LLM时代的Embedding、Agent与Embedding、端侧Embedding部署。