VIP14
本课程属于：029-实验数据资产与智能平台 生物技术_生物工程与智能实验室 · 共 14 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实验数据湖仓一体平台工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
实验数据湖仓一体平台工程导论
目标=课程目标 · 实验数据特征 · 湖仓一体核心理念
实验数据湖仓一体…目标=课程目标
02
实验数据源与采集接入
目标=实验仪器 · 传感器 · 日志
实验数据源采集接入
03
实验数据存储格式与表设计
目标=Parquet · ORC · Avro
实验数据存储格式表设计
04
湖仓一体存储层选型与部署
目标=对象存储 · HDFS · 云存储
湖仓一体存储层选…部署
05
元数据管理与数据目录
目标=Hive Metastore · AWS Glue · DataHub
元数据管理数据目录
06
数据湖原始层构建
目标=原始实验数据落地 · 不可变存储 · 数据溯源
数据湖原始层构建目标=原始实验数…
07
数据清洗与标准化层
目标=实验数据缺失值 · 异常值 · 单位不一致处理
数据清洗标准化层
08
实验数据建模与主题域设计
目标=维度建模 · 宽表设计 · 实验主题域划分
实验数据建模主题域设计
09
批处理计算引擎集成
目标=Spark · Flink · MapReduce 在湖仓平台中的角…
批处理计算引擎集…Spark
10
流处理与实时入湖
目标=Kafka · Pulsar · Flink CDC 等实时数据管道
流处理实时入湖
11
湖仓事务与一致性保障
目标=ACID 事务 · 快照隔离 · 并发控制
湖仓事务一致性保障
12
数据质量监控与校验
目标=实验数据质量规则 · 完整性 · 准确性
数据质量监控校验
13
数据血缘与影响分析
目标=字段级血缘采集 · 血缘图谱构建 · 实验数据变更影响分析与案例
数据血缘影响分析
14
统一 SQL 查询与联邦查询
目标=Trino · Presto · Spark SQL
SQL统一
15
实验数据分区与索引优化
目标=分区裁剪 · Z-Order · Bloom Filter
实验数据分区索引优化
16
数据安全与权限管理
目标=实验数据分级分类 · 脱敏 · 加密
数据安全权限管理
17
数据版本管理与实验复现
目标=数据版本 · 模型版本 · 实验快照
数据版本管理实验复现
18
机器学习特征平台集成
目标=特征存储 · 特征工程流水线 · 训练与推理数据供给
机器学习特征平台…目标=特征存储
19
BI 与可视化分析对接
目标=实验数据指标层 · OLAP 引擎 · BI 工具连接
BI可视化分析对接
20
数据服务与 API 发布
目标=实验数据服务化 · RESTful API · GraphQL
API数据服务
21
平台编排与工作流调度
目标=Airflow · Dagster · Argo Workflows 等调度…
平台编排工作流调度
22
资源管理与成本优化
目标=YARN · Kubernetes · 弹性伸缩
资源管理成本优化
23
平台可观测性与运维
目标=日志 · 指标 · 链路追踪
平台可观测性运维
24
数据治理与合规
目标=实验数据治理框架 · 数据标准 · 合规要求
数据治理合规
25
湖仓一体平台性能基准测试
目标=TPC-DS · TPC-H · 自定义实验负载
湖仓一体平台性能…TPC-DS
26
多租户与隔离设计
目标=实验团队隔离 · 资源配额 · 命名空间
多租户隔离设计
27
云原生湖仓平台部署
目标=容器化 · Helm · Operator
云原生湖仓平台部…目标=容器化
28
实验数据湖仓迁移与集成
目标=从传统数据仓库或数据湖迁移 · 异构系统集成与数据同步策略
实验数据湖仓迁移集成
29
平台工程化与 CI/CD
目标=基础设施即代码 · 数据管道测试 · 版本发布
CI/CD平台工程化
30
综合实战
目标=构建端到端实验数据湖仓一体平台 · 涵盖采集 · 存储
综合实战目标=构建端到端…