VIP20
本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

搭建AI数据底座

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
数据底座概述
什么是AI数据底座、核心组件拆解、数据底座在AI项目中的战略价值与落地路径。
概念架构
第2章
数据采集策略
结构化与非结构化数据采集、API对接、爬虫基础与数据采集伦理规范。
采集API爬虫
第3章
数据存储选型
关系型数据库(MySQL/PostgreSQL)、NoSQL(MongoDB/Redis)、对象存储(MinIO/S3)对比与选型。
存储数据库
第4章
数据湖与数据仓库
数据湖与数据仓库概念、湖仓一体架构、Delta Lake与Apache Iceberg实践。
湖仓架构
第5章
数据清洗基础
缺失值处理、重复数据去重、异常值检测、数据标准化与清洗流水线。
清洗质量
第6章
数据标注入门
标注类型(分类/检测/分割)、工具选型、质量控制与众包标注管理。
标注数据
第7章
数据版本控制
DVC安装与使用、数据仓库与代码仓库联动、数据回滚与实验复现。
版本DVC
第8章
数据管道构建
ETL与ELT架构、Apache Airflow入门、任务调度依赖与管道监控告警。
管道Airflow
第9章
特征工程基础
特征提取、选择、缩放与编码(One-Hot/Label/Target Encoding)实战。
特征ML
第10章
数据质量监控
数据质量维度(完整性/一致性/准确性/时效性)、Great Expectations框架与仪表盘搭建。
质量监控
第11章
数据安全与隐私
数据脱敏、差分隐私、联邦学习基础与RBAC/ABAC访问控制。
安全隐私
第12章
元数据管理
元数据概念、Apache Atlas入门、数据血缘追踪与数据目录发现。
元数据Atlas
第13章
数据湖仓实践
基于Spark的数据处理、Spark SQL与DataFrame、Parquet/ORC读写及分区桶优化。
Spark湖仓
第14章
实时数据管道
Kafka基础、生产者消费者、Connect与Schema Registry、Spark Streaming/Flink流处理。
实时Kafka
第15章
数据湖格式详解
Parquet列式存储、Avro行式存储、ORC格式对比与选择策略。
格式Parquet
第16章
数据集成工具
Apache NiFi、Sqoop/DataX、Fivetran/Airbyte开源替代与增量同步策略。
集成同步
第17章
数据湖查询引擎
Presto/Trino基础、Hive Metastore集成、跨源联合查询与性能调优。
查询Presto
第18章
数据湖治理
数据生命周期管理、冷热分层、存储成本优化与归档策略。
治理成本
第19章
MLOps数据准备
训练/验证/测试集划分、数据增强、漂移检测与特征存储(Feast)。
MLOps特征
第20章
大规模数据处理
MapReduce思想、Spark RDD与DataFrame、分布式计算原理与Shuffle优化。
分布式Spark
第21章
数据湖安全实践
数据加密(静态/传输)、Apache Ranger权限控制、审计日志与合规检查。
安全Ranger
第22章
数据底座自动化
Terraform基础设施即代码、Docker容器化管道、Kubernetes编排与CI/CD for Data。
自动化K8s
第23章
数据湖性能优化
文件大小优化、小文件合并、谓词下推与向量化查询执行。
性能优化
第24章
数据底座监控
Prometheus+Grafana监控管道、自定义指标采集、告警规则与SLA/SLO管理。
监控Prometheus
第25章
数据底座成本管理
云存储成本分析、计算资源弹性伸缩、预留/Spot实例与成本标签预算。
成本云
第26章
数据底座灾难恢复
备份策略(全量/增量/差异)、跨区域复制、RTO/RPO定义与恢复演练。
灾备恢复
第27章
数据底座与AI模型集成
特征服务API设计、在线/批处理推理管道、模型与数据版本对齐。
AI推理
第28章
数据底座案例实战（上）
电商推荐系统数据底座搭建、用户行为采集、实时特征计算与AB实验管道。
电商实战
第29章
数据底座案例实战（下）
金融风控数据底座搭建、交易数据实时清洗、反欺诈特征工程与合规审计。
金融风控
第30章
数据底座未来趋势
Data Mesh架构、数据契约、AI驱动治理与数据底座LLM结合展望。
趋势Data Mesh