VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据集市构建完整指南

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据集市概述

什么是数据集市，与数据仓库的区别，业务价值及适用场景，快速建立全局认知。

概念业务价值

数据集市架构设计

星型、雪花、星座模型对比，维度建模核心原则，为稳定架构打下基础。

模型维度建模

需求分析与范围界定

与业务方沟通技巧，识别关键指标，确定数据粒度与更新频率。

技术选型与工具链

OLAP引擎(ClickHouse/Doris/StarRocks)、ETL工具、调度系统选型要点。

数据源接入与采集

结构化、半结构化、实时数据接入策略，覆盖MySQL、Kafka、日志等。

数据源采集

数据清洗与预处理

去重、空值处理、异常检测、标准化与字段映射，提升数据质量。

清洗预处理

维度表设计

缓慢变化维(SCD 1/2/3)、退化维度、垃圾维度、角色扮演维度实战。

事实表设计

事务、周期快照、累积快照事实表的选择与设计要点。

事实表快照

ETL开发实战

增量抽取策略(时间戳/CDC/全量对比)，数据加载策略详解。

数据质量保障

完整性校验、一致性检查、血缘追踪与告警机制。

数据分层设计

ODS、DWD、DWS、ADS各层职责与命名规范。

指标体系建设

原子、派生、复合指标定义与管理，指标字典维护。

数据安全与权限管控

行级/列级权限、数据脱敏、审计日志落地。

数据存储优化

分区、分桶、物化视图、索引与压缩算法选择。

查询性能调优

SQL优化、Join优化、数据倾斜处理与缓存策略。

实时数据集市

Lambda/Kappa架构，实时ETL与OLAP整合实践。

数据服务接口

API、JDBC/ODBC、数据导出(CSV/Parquet)对外服务。

数据可视化与BI集成

对接Superset、Metabase、Tableau、Power BI最佳实践。

元数据管理

元数据采集、数据字典、血缘与影响分析。

元数据血缘

数据治理与运维

监控告警、任务调度、资源管理与版本控制。

敏捷迭代与版本管理

版本化发布、回滚策略与灰度发布。

成本控制与资源优化

计算、存储、网络带宽优化策略。

多租户与数据隔离

不同业务线/部门的数据隔离方案。

多租户隔离

数据备份与容灾

全量/增量备份、异地容灾与恢复演练。

数据合规与隐私保护

GDPR、个人信息保护法在数据集市中的落地。

测试与验证

数据准确性、性能、回归测试与验收标准。

文档与知识沉淀

数据字典、设计文档、操作手册编写规范。

团队协作与DevOps

Git工作流、CI/CD、代码审查与协作工具。

案例实战：电商数据集市

从需求到上线的电商全流程构建。

案例实战：金融风控数据集市

金融风控场景从需求到上线完整构建。