📚 课程目录第1章课程导论与体系架构

1. 课程导论与体系架构：什么是实时特征质量异常、为什么需要自动处理、课程整体技术栈与学习路径

2019年双十一大促，我负责的推荐系统在凌晨流量高峰突然「失忆」了——用户刷到的商品全是昨天的旧数据。排查了半小时才发现，实时特征管道里一个关键字段因为上游格式变更，全部写成了 null。特征质量异常，说白了就是「喂给模型的数据坏了」。你想想看，模型吃的是馊饭，怎么可能做出好菜？

那次事故直接导致转化率掉了 12%，我熬了三个通宵才把自动恢复逻辑补上。从那时起我就明白：实时特征的质量问题不是「会不会发生」，而是「什么时候发生」。与其每次靠人肉救火，不如让系统自己学会「看病吃药」。

实时特征，就是在线推理时从数据流中实时计算出来的特征。比如用户点击流里提取的「最近5分钟点击次数」，或者交易流里算出的「平均客单价」。这些特征一旦出问题，模型推理结果就会跑偏。

我归纳了最常见的四类异常：

⚠️ 注意： 很多团队只监控特征「有没有值」，忽略了分布偏移和逻辑异常。我曾经见过一个模型在分布偏移后默默运行了 3 天，等发现时已经造成了数百万的损失。监控粒度一定要覆盖这四类。

手动处理特征异常，说白了就是「等人发现 → 定位问题 → 写补丁 → 上线修复」。这个流程在离线场景还能接受，但在实时场景下——

自动处理的核心思路是：检测 → 诊断 → 决策 → 修复 → 验证 全链路自动化。系统自己发现异常，自己判断原因，自己执行修复策略，最后自己确认恢复。我习惯把这个闭环叫做「特征质量自治回路」。

  💡 核心观点： 自动处理不是要取代人工，而是把工程师从「救火队员」变成「系统设计师」。你只需要定义规则和策略，剩下的交给自动化引擎。

这门课不是纯理论，我会带着你从零搭建一套可运行的自动处理系统。技术栈选型基于我过去 5 年在三家互联网公司的落地经验：

📌 我的建议： 如果你团队用的是其他组件（比如 RocketMQ 替代 Kafka），原理完全通用。课程会重点讲抽象架构和设计模式，技术选型只是载体。

这门课共 30 章，我把它分成 5 个阶段。每个阶段都有明确的产出物：

下面这张图展示了整个课程的知识体系：

学这门课之前，我希望你有以下基础：

如果你暂时不熟悉某个组件，别担心。每章开头我都会用「3 分钟速览」讲清楚前置知识。我记得第一次接触 Flink 的状态后端时也一头雾水，后来发现只要抓住「状态就是带容错的本地变量」这个本质，一切都通了。

  🎯 本章产出物： 你应当能画出上面的知识体系图，并用自己的话解释「为什么实时特征质量异常必须自动处理」。如果现在让你给团队讲 5 分钟，你能讲清楚吗？试试看。