VIP20

本课程属于：037-数据平台成本优化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

离线实时资源统一管控

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

离线实时资源统一管控概述

什么是离线资源、什么是实时资源、为什么需要统一管控、核心挑战与目标。

概述核心挑战

资源抽象与建模

资源类型定义、资源属性建模、资源生命周期模型、统一资源描述语言（URDL）设计。

资源发现与注册

自动发现机制、手动注册流程、资源元数据管理、健康检查与心跳机制。

资源调度策略

FIFO调度、优先级调度、公平调度、容量调度、抢占式调度。

资源分配与隔离

静态分配 vs 动态分配、CPU隔离（CGroup）、内存隔离、网络带宽隔离、磁盘IO隔离。

资源监控与度量

监控指标体系（CPU/内存/IO/网络）、Prometheus + Grafana 集成、自定义Exporter开发、告警规则设计。

监控Prometheus

资源配额管理

配额定义、配额校验、配额动态调整、超卖与欠卖处理、配额审计。

资源预留与抢占

预留策略设计、抢占优先级、抢占回滚机制、优雅抢占 vs 强制抢占。

资源拓扑感知

机架感知、区域感知、节点亲和性、拓扑调度策略、数据本地性优化。

拓扑亲和性

资源碎片整理

碎片产生原因、碎片度量指标、碎片整理策略、在线整理 vs 离线整理、碎片整理触发条件。

资源弹性伸缩

水平扩缩容、垂直扩缩容、弹性伸缩策略（基于指标/时间/预测）、冷却期设计。

资源混部与超分

在线任务与离线任务混部、超分比设计、干扰检测与抑制、混部收益评估。

资源计费与成本分析

计费模型（按量/包年包月/竞价）、成本分摊、成本优化建议、资源利用率报表。

资源安全与权限控制

RBAC模型、资源访问控制列表（ACL）、资源操作审计、安全策略最佳实践。

资源标签与元数据管理

标签设计原则、标签继承、元数据查询、标签驱动的自动化运维。

标签元数据

资源编排与自动化

Terraform/Ansible集成、资源编排模板、声明式 vs 命令式、GitOps实践。

资源故障域与高可用

故障域定义、跨可用区部署、故障自动转移、多活架构设计。

高可用故障域

资源回收与释放

闲置资源识别、自动回收策略、回收前通知、资源释放确认。

资源缓存与预热

缓存策略设计、预热机制、缓存一致性、缓存淘汰策略。

资源依赖管理

依赖关系建模、依赖拓扑排序、依赖冲突检测、循环依赖处理。

资源版本管理

资源版本号设计、版本兼容性、版本回滚、灰度发布。

资源迁移与调度

在线迁移 vs 离线迁移、迁移策略、迁移窗口、迁移回滚。

资源预测与规划

基于历史数据的资源预测、容量规划、趋势分析、异常检测。

资源审计与合规

审计日志、合规检查、资源使用报告、审计追溯。

资源多集群管理

多集群统一视图、跨集群调度、集群联邦、集群间资源互借。

多集群联邦

资源边缘计算场景

边缘节点资源管理、边缘调度策略、边缘与中心协同、边缘自治。

边缘计算协同

资源容器化与Kubernetes

K8s资源模型、Pod资源请求与限制、Node资源管理、集群自动缩放。

资源Serverless场景

Serverless资源模型、冷启动优化、按需分配、闲置计费。

Serverless冷启动

资源大数据场景

YARN资源管理、Spark动态资源分配、Flink资源弹性、数据本地性优化。

资源AI/ML场景

GPU资源管理、显存隔离、训练任务调度、推理资源弹性。