1. 成本追踪概述

做特征工程的同学，有没有遇到过这种情况？

模型上线后效果不错，但到了月底一看账单——吓一跳。某个特征的计算成本，比整个模型训练还贵。更头疼的是，你根本说不清钱花在了哪里。

这就是我今天想聊的话题：实时特征链路成本追踪。说白了，就是搞清楚每个特征从产生到使用，到底花了多少资源。

1.1 核心痛点：成本黑洞到底在哪

我入行头几年，在一家广告公司做实时推荐。那时候团队只管特征效果，没人关心成本。直到有一次，运维说集群资源不够了，要扩容。老板问：能不能先优化一下？

我们花了三天排查，发现一个叫“用户实时兴趣向量”的特征，每次请求都要从 HBase 里拉 50 个字段，再跑一次模型推理。这个特征只被一个冷门模型使用，每天调用量不到 1000 次，但占用了整个特征服务 30% 的 CPU。

这就是典型的成本黑洞。我总结了几类常见问题：

• 重复计算：同一个特征，不同模型各自算一遍。我见过一个公司，同一个“用户近 7 天点击率”特征，在 5 个 pipeline 里各算了一次。
• 过度存储：特征存了 30 天历史，但实际只用最近 3 天的。存储成本翻 10 倍。
• 低效查询：每次请求都去查全量数据库，而不是用缓存。延迟高，资源也浪费。
• 无人认领：特征下线了，但计算任务还在跑。我曾经清理过一批 3 年前上线的特征，还在每天消耗资源。

1.2 为什么是“实时”追踪？

你可能会问：离线算一下成本不就行了？

嗯，我以前也这么想。但现实是，特征链路的成本是动态的。举个例子：

• 白天流量大，特征计算量是晚上的 5 倍。
• 大促期间，某个特征突然被多个模型同时调用，成本瞬间飙升。
• 某个数据源延迟了，导致特征重算，资源消耗翻倍。

这些情况，离线统计根本来不及反应。等你看到周报，钱已经花出去了。实时追踪的意义在于：你能在成本失控之前，立刻发现并处理。

1.3 业务价值：省钱只是第一步

成本追踪不只是为了省钱。我经历过几个真实案例，让我觉得这件事的价值远超想象。

价值维度	具体表现	我遇到的例子
成本优化	识别高成本特征，针对性优化	一个特征从 100ms 降到 10ms，集群节省 40% 资源
容量规划	根据成本趋势预测资源需求	提前 2 周发现某个特征成本暴涨，及时扩容
效果归因	评估特征投入产出比	一个成本很高的特征，对模型提升只有 0.1%，果断下线
团队协作	让算法、工程、运维看到同一份成本数据	算法同学自己就能判断要不要加新特征，不用等运维评估

说白了，成本追踪让你从“凭感觉优化”变成“用数据决策”。

1.4 知识体系：一张图看懂全貌

下面这张图，是我自己梳理的实时特征链路成本追踪的整体框架。你可以把它当成这门课的地图。

这个框架分五层：

1. 核心目标：成本可观测、可优化、可预测。这是做这件事的初心。
2. 三大支柱：采集、监控、分析。缺一不可。
3. 关键能力：每个支柱下具体要做什么。比如采集不只是看 CPU，还要看特征计算耗时。
4. 落地工具：用什么技术栈实现。我习惯用 Prometheus 做采集，Grafana 做展示。
5. 最终收益：降本增效，让数据说话。

1.5 避坑指南：我曾经踩过的坑

最后分享几个我亲身经历过的教训，希望能帮你少走弯路。

• 坑一：成本口径不统一。算法说“这个特征成本很低”，运维说“这个特征很贵”。为什么？因为算法只看 CPU，运维看的是整体资源。后来我统一用“每秒成本”作为标准口径，大家才对齐。
• 坑二：只关注计算成本，忽略存储成本。有一次优化了一个特征的计算逻辑，成本降了 50%。但存储成本没动，因为历史数据没清理。最后总成本只降了 10%。
• 坑三：告警阈值设得太死。刚开始我设了 10% 的波动就告警，结果一天收到 200 条告警，全是误报。后来改成“连续 3 个周期超过阈值”才告警，清净多了。

嗯，这些坑说起来都是泪。但踩过之后，你就知道该怎么做了。