特征平台样本偏差校验从入门到实战 - 第1节

1.1 什么是特征平台

特征平台（Feature Platform）是机器学习基础设施中的核心组件，它统一管理特征从生产、存储、共享到在线推理的全生命周期。在传统 ML 工作流中，特征通常散落在数据管道、训练脚本和推理服务中，导致重复开发、线上线下不一致、难以复用等问题。特征平台通过标准化的特征注册、存储、计算和 Serving 能力，将特征工程与模型训练/推理解耦。

业界代表性开源项目包括 Feast、Tecton、Feathr 等，它们均遵循“离线-在线一致性”原则，确保训练时使用的特征分布与推理时一致。

1.2 为什么需要样本偏差校验

样本偏差（Sample Bias）是指模型训练时使用的样本分布与线上推理时遇到的实际样本分布之间存在系统性差异。在特征平台场景下，偏差可能出现在多个环节：

• 时间偏差：训练数据来自历史窗口，线上数据包含最新模式，两者分布不同。
• 特征计算偏差：离线批处理与在线流计算逻辑不一致，导致同一特征值不同。
• 数据缺失偏差：离线表可能经过清洗，线上原始数据缺失率更高。
• 采样偏差：训练集经过负采样或下采样，线上是全量真实分布。

偏差校验的核心目标可以归纳为三个层次：

1.3 课程目标与学习路径

本课程旨在帮助数据科学家与 ML 工程师系统掌握特征平台场景下的样本偏差校验方法，从理论到工程落地。完成本课程后，你将能够：

• 理解特征平台中偏差产生的根本原因与影响。
• 独立设计并实现离线-在线样本分布对比 Pipeline。
• 使用 KS 检验、PSI、Chi-Square 等统计方法量化偏差。
• 在特征平台中集成自动化偏差校验与告警机制。
• 通过真实案例排查并修复样本偏差问题。

课程分为四个阶段，共 30 章：

每章均包含理论讲解、代码示例、内联图表和课后练习。建议按照顺序学习，基础篇与方法篇是后续工程实战的必备前提。