1. 课程导入与AIFinOps认知
在 Databricks 上做成本治理,和传统云资源成本管理有一个根本区别:你面对的不只是“虚拟机跑了多久、存储占了多少 GB”,而是“谁在什么时间、用什么算力、跑了什么模型、产出了什么价值”。当 GPU 集群、向量检索、模型推理、特征工程和 Lakehouse 批处理混在同一个工作区里,账单会迅速从“可解释”变成“难归因”。AIFinOps 要解决的,正是这种“AI 负载 + 数据平台”叠加后的成本可见性与可控性问题。
一、AIFinOps 是什么
AIFinOps 可以理解为 FinOps 在 AI 工作负载上的延伸。FinOps 的核心是“让工程、财务、业务用同一套语言讨论云成本”,而 AIFinOps 在此基础上增加了三个维度:
- 算力异构性:CPU、GPU、加速器、Serverless SQL、Serverless 推理的计费单元不同,不能简单用“DBU 单价 × 时长”一概而论。
- 负载波动性:训练任务可能持续数小时,推理请求可能毫秒级突发,向量索引重建可能周期性占用大量算力。
- 价值归因难:一次模型微调的成本,最终要落到某个业务场景、某个模型版本、某个数据产品上,而不是只落在“某个集群”上。
因此,AIFinOps 不是单纯“省钱”,而是建立一套可观测、可归因、可优化、可治理的成本工程体系。它要求你既能看懂 Databricks 的账单结构,也能理解 Spark、MLflow、Model Serving、Delta Live Tables 等组件在成本上的行为特征。
二、Databricks 成本治理的独特挑战
Databricks 的成本治理难点,往往不在“单价”,而在“结构”。下面这张图展示了从工作负载到账单、再到归因与优化的核心链路,以及每个环节最容易失控的位置。
从图中可以看到,成本治理不是单点动作,而是一条从“负载”到“账单”再到“归因”的链路。任何一个环节缺失,后面的优化都会变成猜测。例如,如果集群没有打标签,账单里只会显示“某个 All-Purpose Cluster 花了 1200 DBU”,你无法判断这是数据科学团队的实验,还是生产 ETL 的日常开销。
三、一个可落地的归因示例
假设某团队在 Databricks 上运行三类任务:每日 ETL、模型微调、在线推理。我们可以用一张简单的成本归因表来观察结构。以下参数为教学示例,用于说明方法,不代表真实账单。
| 任务类型 | 计算资源 | 示例 DBU 消耗 | 标签 | 归因对象 |
|---|---|---|---|---|
| 每日 ETL | Jobs Cluster(CPU) | 320 DBU | team=data, env=prod | 数据平台组 |
| 模型微调 | GPU Cluster(A10) | 850 DBU | team=ai, project=recsys | 推荐算法组 |
| 在线推理 | Model Serving | 210 DBU | team=ai, model=recsys-v3 | 推荐算法组 |
这张表的价值在于:它把“账单数字”翻译成了“谁、为什么、花了多少”。如果没有标签,第三列和第五列就无法建立联系。因此,AIFinOps 的第一步往往不是优化,而是补齐标签与归因维度。
四、课程学习路径与实战目标
本课程共 30 章,围绕“认知 → 观测 → 归因 → 优化 → 治理”展开。你不需要一开始就掌握所有 Databricks 计费细节,但需要逐步建立三个能力:
- 看得见:能从账单、集群指标、作业日志中定位成本异常。
- 算得清:能把成本分摊到团队、项目、模型版本或数据产品。
- 管得住:能通过预算、标签策略、集群策略、作业调度等手段持续优化。
实战目标不是“背概念”,而是完成一套可复用的成本治理动作。例如:为工作区设计标签规范;用 SQL 从 system.billing.usage 中提取按标签聚合的成本;识别空闲集群并设置自动终止;对 GPU 任务做队列与优先级管理;建立月度成本复盘模板。这些动作会在后续章节中逐步展开。