VIP20
本课程属于：031-埋点与事件治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

埋点数据从采集到分析的全链路治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据治理全景
数据治理的定义与必要性，全链路治理核心挑战，成熟度模型解析。
定义成熟度挑战
02
数据采集基础
结构化/半结构化/非结构化数据源，批量与实时采集方式，Flume/Logstash/DataX 选型。
数据源采集方式工具
03
数据采集实战
日志采集方案、数据库增量CDC、API采集、任务监控与告警体系。
日志CDC监控
04
数据采集质量
完整性校验、去重策略、延迟控制、异常标记与重试机制。
校验去重重试
05
数据存储选型
OLTP vs OLAP，MySQL/PostgreSQL，HBase/MongoDB，Delta Lake/Iceberg 数据湖。
关系型NoSQL数据湖
06
数据仓库建模
维度建模星型/雪花型，事实表设计，缓慢变化维，ODS/DWD/DWS/ADS分层。
维度建模SCD分层
07
ETL与数据集成
ETL vs ELT，数据清洗规则，转换逻辑，全量/增量加载策略。
ETL清洗加载
08
实时数据处理
Kafka/Spark Streaming/Flink 流处理，事件时间与水位线，状态管理。
流处理Flink水位线
09
数据质量监控
完整性/准确性/一致性/及时性维度，规则配置，质量看板与异常告警。
质量维度看板告警
10
元数据管理
技术/业务/操作元数据，元数据采集，血缘分析，影响分析，数据地图。
血缘影响分析数据地图
11
数据标准与规范
命名、数据类型、编码、接口、文档规范，统一治理基座。
命名规范编码接口
12
数据安全与权限
数据分级分类，RBAC/ABAC，脱敏，审计日志，加密传输与存储。
RBAC脱敏审计
13
数据生命周期管理
冷热分层，归档策略，保留期限，安全销毁流程。
冷热分层归档销毁
14
数据服务与API
服务化架构，API网关，查询优化，限流与熔断机制。
API网关限流熔断
15
数据可视化基础
可视化设计原则，折线/柱状/散点/热力图选择，交互设计要点。
图表交互设计原则
16
数据可视化实战
Superset/Grafana/Tableau 选型，仪表盘设计，下钻与自动刷新。
BI工具仪表盘下钻
17
数据治理平台
平台架构，核心模块，工作流引擎，Airflow/DolphinScheduler 调度。
平台架构调度工作流
18
数据治理自动化
规则引擎，自动修复，智能推荐，AI辅助治理实践。
自动化规则引擎AI
19
数据治理度量
治理效果评估指标，成本效益分析，成熟度评估模型。
度量成本效益成熟度
20
数据治理组织
治理团队角色，流程设计，治理文化，培训与推广策略。
团队流程文化
21
数据治理工具链
Atlas/DataHub/Amundsen 对比，商业工具选型，集成方案。
开源商业集成
22
数据治理案例
电商、金融、物联网场景治理实践与经验总结。
电商金融物联网
23
数据治理与合规
GDPR/个人信息保护法，数据跨境合规，合规审计要点。
GDPR合规审计
24
数据治理与AI
特征工程治理，模型数据质量，训练版本管理，模型监控。
特征工程模型版本管理
25
数据治理与DevOps
DataOps理念，CI/CD for Data，数据管道测试，版本控制。
DataOpsCI/CD版本控制
26
数据治理与云原生
云上治理挑战，多云数据管理，Serverless 数据管道。
云原生多云Serverless
27
数据治理与实时数仓
Lambda/Kappa架构，实时维度建模，实时数据质量保障。
实时数仓LambdaKappa
28
数据治理与数据湖
湖仓一体，数据湖治理挑战，ACID on Lake，查询优化。
湖仓一体ACID查询优化
29
数据治理与数据中台
中台架构演进，数据中台 vs 数据湖，中台治理实践。
数据中台架构实践
30
全链路治理总结
治理体系全景回顾，常见误区与避坑，未来趋势与持续改进路径。
全景误区趋势