1. 课程导入与AIFinOps认知

在 Databricks 上做成本治理,和传统云资源成本管理有一个根本区别:你面对的不只是“虚拟机跑了多久、存储占了多少 GB”,而是“谁在什么时间、用什么算力、跑了什么模型、产出了什么价值”。当 GPU 集群、向量检索、模型推理、特征工程和 Lakehouse 批处理混在同一个工作区里,账单会迅速从“可解释”变成“难归因”。AIFinOps 要解决的,正是这种“AI 负载 + 数据平台”叠加后的成本可见性与可控性问题。

一、AIFinOps 是什么

AIFinOps 可以理解为 FinOps 在 AI 工作负载上的延伸。FinOps 的核心是“让工程、财务、业务用同一套语言讨论云成本”,而 AIFinOps 在此基础上增加了三个维度:

  • 算力异构性:CPU、GPU、加速器、Serverless SQL、Serverless 推理的计费单元不同,不能简单用“DBU 单价 × 时长”一概而论。
  • 负载波动性:训练任务可能持续数小时,推理请求可能毫秒级突发,向量索引重建可能周期性占用大量算力。
  • 价值归因难:一次模型微调的成本,最终要落到某个业务场景、某个模型版本、某个数据产品上,而不是只落在“某个集群”上。

因此,AIFinOps 不是单纯“省钱”,而是建立一套可观测、可归因、可优化、可治理的成本工程体系。它要求你既能看懂 Databricks 的账单结构,也能理解 Spark、MLflow、Model Serving、Delta Live Tables 等组件在成本上的行为特征。

二、Databricks 成本治理的独特挑战

Databricks 的成本治理难点,往往不在“单价”,而在“结构”。下面这张图展示了从工作负载到账单、再到归因与优化的核心链路,以及每个环节最容易失控的位置。

Databricks AIFinOps 成本治理链路 从工作负载到账单归因,再到优化动作与治理闭环 工作负载层 ETL / SQL / 训练 / 推理 Notebook / Job / DLT Model Serving / 向量检索 算力与计费层 DBU + 云资源费 All-Purpose / Jobs / SQL GPU / Serverless / 存储 账单与标签层 Usage / Billing 表 Cluster Tag / Job Tag Custom Tags / Budget 归因与优化 成本分摊 异常检测 优化动作 典型挑战 ① 标签缺失导致成本无法归因到团队/项目;② 空闲集群与过度配置造成隐性浪费; ③ GPU 任务排队与抢占策略影响利用率;④ Serverless 与按需实例的计费口径差异; ⑤ 训练/推理/ETL 混跑,难以判断哪类负载是成本主因。 治理闭环 可见 → 归因 → 预算 → 优化 → 复盘:每一步都要有指标、有责任人、有动作,而不是只做一次账单分析。 关键指标示例:单位任务成本、GPU 利用率、空闲时长占比、标签覆盖率、预算偏差率。

从图中可以看到,成本治理不是单点动作,而是一条从“负载”到“账单”再到“归因”的链路。任何一个环节缺失,后面的优化都会变成猜测。例如,如果集群没有打标签,账单里只会显示“某个 All-Purpose Cluster 花了 1200 DBU”,你无法判断这是数据科学团队的实验,还是生产 ETL 的日常开销。

三、一个可落地的归因示例

假设某团队在 Databricks 上运行三类任务:每日 ETL、模型微调、在线推理。我们可以用一张简单的成本归因表来观察结构。以下参数为教学示例,用于说明方法,不代表真实账单。

任务类型 计算资源 示例 DBU 消耗 标签 归因对象
每日 ETL Jobs Cluster(CPU) 320 DBU team=data, env=prod 数据平台组
模型微调 GPU Cluster(A10) 850 DBU team=ai, project=recsys 推荐算法组
在线推理 Model Serving 210 DBU team=ai, model=recsys-v3 推荐算法组

这张表的价值在于:它把“账单数字”翻译成了“谁、为什么、花了多少”。如果没有标签,第三列和第五列就无法建立联系。因此,AIFinOps 的第一步往往不是优化,而是补齐标签与归因维度。

四、课程学习路径与实战目标

本课程共 30 章,围绕“认知 → 观测 → 归因 → 优化 → 治理”展开。你不需要一开始就掌握所有 Databricks 计费细节,但需要逐步建立三个能力:

  1. 看得见:能从账单、集群指标、作业日志中定位成本异常。
  2. 算得清:能把成本分摊到团队、项目、模型版本或数据产品。
  3. 管得住:能通过预算、标签策略、集群策略、作业调度等手段持续优化。

实战目标不是“背概念”,而是完成一套可复用的成本治理动作。例如:为工作区设计标签规范;用 SQL 从 system.billing.usage 中提取按标签聚合的成本;识别空闲集群并设置自动终止;对 GPU 任务做队列与优先级管理;建立月度成本复盘模板。这些动作会在后续章节中逐步展开。

学习建议:每学完一个治理动作,回到自己的 Databricks 工作区找一个真实对象练习。例如,先给一个测试集群打上 team 和 env 标签,再观察它在账单表中的变化。只有把“概念”变成“可观察的数据”,AIFinOps 才真正开始生效。
常见误区:把 AIFinOps 等同于“砍预算”。过度削减算力可能导致训练变慢、推理延迟升高、ETL 超时,最终反而增加人力与业务成本。正确的目标是“在可接受的性能与交付节奏下,消除浪费、提升单位成本产出”。