VIP20

本课程属于：051-数据平台FinOps 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体计算任务成本核算

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

成本核算概述

流批一体架构简介 · 为什么需要成本核算 · 核心指标：CPU、内存、存储、网络

资源计量模型

vCore-秒 · GB-秒 · GB-小时 · 网络IO计量方式

任务生命周期成本

启动 · 运行 · Shuffle · 容错与重试成本分析

生命周期Shuffle

流处理成本特性

状态后端 (RocksDB vs Heap) · Checkpoint · Kafka延迟 · Watermark与空闲分区

流处理状态

批处理成本特性

数据倾斜放大 · 动态资源分配 · 推测执行 · 中间结果落盘

批处理倾斜

成本分摊模型

按任务 · 业务线/部门 · 数据源/目标表 · 时间窗口分摊

成本数据采集

Flink/Spark Metrics · 自定义Reporter · Prometheus+Grafana · 日志解析

成本数据存储

时序数据库选型 · 成本明细表 · 聚合表设计

存储时序库

成本可视化

Grafana Dashboard · 成本趋势 · Top-N高消耗 · 异常告警

可视化Grafana

成本优化策略（计算）

算子链 · 并行度 · 数据倾斜 · UDF优化

成本优化策略（存储）

状态TTL · RocksDB调优 · 列式压缩 · 数据生命周期

成本优化策略（网络）

数据本地性 · 缓冲区调优 · 序列化 · 减少Shuffle

成本优化策略（调度）

弹性伸缩 · TaskManager/Executor调优 · Slot/Container分配

成本预算与配额

预算制定 · 配额管理 · 超预算告警 · 自动降级

成本核算平台架构

整体架构 · 数据流 · 模块划分 · 技术选型

成本核算平台后端实现（一）

Spring Boot · MyBatis Plus · 成本计算引擎设计

后端Spring Boot

成本核算平台后端实现（二）

定时任务 (Quartz/XXL-Job) · 异步处理 · Redis缓存

成本核算平台前端实现

Vue3 + Element Plus · 成本大盘 · 任务详情 · 报表导出

成本核算平台API设计

RESTful规范 · 分页/聚合查询 · 鉴权与限流

实时成本计算

Flink SQL实时ETL · CEP模式匹配 · 实时聚合 · 毫秒级延迟

实时Flink SQL

离线成本计算

Spark SQL批量ETL · Hive分区优化 · 数据倾斜 · 调度依赖

成本数据质量保障

完整性校验 · 一致性校验 · 异常修复 · 数据回刷

成本核算与FinOps结合

FinOps理念 · 成本标签 · 分摊到业务单元 · 优化闭环

多云/混合云成本核算

AWS EMR · 阿里云EMR · 腾讯云Oceanus · 跨云对比 · Spot实例

多云混合云

成本核算在数据湖场景的应用

Iceberg/Delta Lake · 小文件合并 · 元数据操作成本

数据湖Iceberg

成本核算在实时数仓场景的应用

Doris/ClickHouse · 物化视图 · 查询并发成本

实时数仓Doris

成本核算在AI/ML场景的应用

GPU计量 · 训练任务 · 推理任务 · 数据预处理成本

成本核算最佳实践（一）

团队协作 · 成本看板 · 定期Review · 优化案例库

成本核算最佳实践（二）

自动化优化 · 混沌工程 · 成本与性能平衡 · 成本文化

自动化混沌工程

成本核算未来趋势

Serverless模型 · Data Mesh分摊 · AI驱动优化 · 碳足迹与绿色计算

趋势Serverless