1. 成本分析概述：为什么实时特征任务需要成本分析？
大家好，我是这次课程的主讲。做了这么多年实时计算，我见过太多团队一上来就猛怼特征，结果线上跑起来才发现——资源账单比业务增长还刺激。
实时特征任务，说白了就是在线推理的“燃料”。模型要实时打分，特征必须毫秒级产出。但每一条特征背后，都是真金白银的服务器开销。你想想看，一个推荐系统可能同时跑几百个特征，每个特征都要消费 CPU、内存、带宽和存储。如果不做成本分析，业务还没盈利，基础设施先把预算吃光了。
我个人习惯，在接手任何一个实时特征项目时，第一件事不是看算法效果，而是先拉一份资源账单。为什么？因为特征的成本结构往往被忽视，但它恰恰是系统瓶颈的源头。
核心观点：实时特征的成本分析，不是财务部门的报表游戏，而是架构师必须掌握的系统设计基本功。它直接决定了你的系统能支撑多大的业务规模、多高的并发压力。
1.1 为什么实时特征任务需要成本分析？
我遇到过不止一次这样的场景：业务方说“加个特征吧，就几行代码”，结果上线后集群 CPU 飙到 90%，延迟从 10ms 变成 200ms。为什么会这样？因为实时特征不是简单的“计算”，它涉及数据读取、窗口聚合、状态维护、网络传输等一系列操作。每一个环节都在消耗资源。
成本分析能帮你回答三个关键问题：
- 这个特征值不值得做？——收益 vs 成本，ROI 是否为正
- 这个特征应该怎么做？——实时计算 vs 预计算 vs 缓存，哪种方案更优
- 这个特征上线后怎么监控？——资源水位、性能拐点、异常预警
说白了，成本分析就是给每个特征贴上一个“价格标签”。没有这个标签，你永远不知道系统里哪个环节在偷偷烧钱。
我的经验：曾经有一个用户画像特征，每天消耗 200 核的 CPU 资源，但业务方反馈它的点击率提升只有 0.3%。我们做了成本分析后，果断把它下线，换成另一个更轻量的特征，效果反而提升了 1.2%。这就是成本分析的直接价值。
1.2 核心指标：CPU、内存、带宽、存储
实时特征的成本，可以拆解为四个核心维度。我习惯把它们叫做“四大金刚”。
| 指标 | 含义 | 典型瓶颈场景 | 我踩过的坑 |
|---|---|---|---|
| CPU | 特征计算、序列化、反序列化、窗口聚合等操作消耗的算力 | 复杂 UDF、大窗口聚合、频繁的状态读写 | 曾经一个特征用了正则解析 JSON，CPU 直接打满 |
| 内存 | 状态存储、缓存、中间结果、RocksDB 等占用的堆内/堆外内存 | 大状态特征、长窗口、高基数 Key | Key 数量从 100 万涨到 1000 万，内存直接 OOM |
| 带宽 | 特征数据在上下游之间传输的网络流量 | 大字段特征、高频推送、跨机房传输 | 一个特征字段 10KB，QPS 10 万，带宽直接打满 |
| 存储 | 特征数据持久化占用的磁盘空间（HDFS、Redis、HBase 等） | 历史特征回溯、全量快照、冗余存储 | 特征存储没设 TTL，半年后磁盘报警 |
这四个指标不是孤立的。CPU 高了往往内存也高，带宽大了存储也可能跟着涨。我建议你在做成本分析时，把这四个指标放在一起看，而不是单独优化某一个。
1.3 业务价值：成本分析不只是省钱
很多人觉得成本分析就是“抠门”，其实不是。它的真正价值在于：让有限的资源产生最大的业务效果。
举个例子。你手上有 1000 核的集群资源，怎么分配给 50 个特征？如果平均分配，每个特征 20 核，那高价值特征可能不够用，低价值特征又在浪费。通过成本分析，你可以做到：
- 高价值特征：分配更多资源，保证低延迟、高吞吐
- 低价值特征：降低资源配额，甚至降级为批处理
- 无效特征：直接下线，释放资源给更有需求的任务
我曾经在一个广告推荐项目中，通过成本分析把集群资源利用率从 40% 提升到了 85%，同时业务指标还涨了 5%。这不是魔法，而是把每一分钱都花在了刀刃上。
注意：成本分析不是一次性的工作。特征的业务价值会变，数据量会变，资源价格也会变。我建议你建立一套持续的成本监控体系，每周或每月做一次复盘。
1.4 知识体系总览
下面这张图是我自己梳理的实时特征成本分析的知识体系。你可以把它当作整个课程的地图。
这张图展示了整个课程的核心逻辑：从 CPU、内存、带宽、存储四个指标出发，评估每个特征的业务价值，最终落地到资源优化、ROI 评估和持续监控。后面的章节，我们会逐一深入每个环节。
1.5 本章小结
嗯，这一章我们聊了为什么实时特征任务需要成本分析，以及四个核心指标和它们的业务价值。说白了，成本分析不是财务的活，而是架构师的基本功。没有成本意识，你的系统迟早会被“特征爆炸”拖垮。